7.5 、大数据平台设计

大数据基础平台承载了学校平台数据的管理，为上层学校应用提供数据支撑。

它统一管理、集中存储了学校的各种数据，保证数据质量。同时提供多种数据计算引擎供应用选用，以更好挖掘数据价值。主要包含如下内容：

数据处理：

学校数据来源多样，既有学校内部数据也有社会数据、互联网数据，各数据来源的数据格式也不一致，在收集的过程中需对数据进行规范化处理，以便于管理使用。

数据计算：

学校数据分析的处理速度、准确度对实战的及时性、高效性都有至关重要的影响。大数据平台提供分布式计算、流式计算、内存计算多种数据计算引擎，能够针对不同的场景采用不同的计算模型，对数据进行大规模批量处理或者实时处理，大大提升工作效率。

数据服务：

大数据平台收集整合的数据以服务化形式对上开放共享，主要包含数据搜索服务、数据统计分析服务、数据关联分析服务、数据挖掘服务。这样上层在使用大数据平台层时，并不直接看到原始数据，而是面对数据的能力服务；在达到数据共享的同时，也共享了数据的分析计算能力。

大数据平台总体逻辑结构图如下所示：

数据源采集以及数据的清洗转换，可由ETL工具实现。

鉴于数据源的多样、数据类型和结构不一致，数据集成需要提供易用的任务编排方式，已经任务执行过程和结果的监控，同时还需具备任务的调度能力。

中间则提供了逻辑上数据的管理方式，包含处理结构化数据的MPP DB，已经处理半结构化/非结构化数据的Hadoop集群，再辅以内存数据库、实时数据处理框架，上层应用可根据业务场景的选择不同的数据组织形式。右边的数据管理保证了数据质量，支撑了数据统一管理。

计算分析提供了数据计算分析的引擎，用于驱动对数据的分析处理任务。

同样存在多种引擎可供选择。

最上层是数据服务，用于数据共享开放。它提供纯数据相关的服务能力，这些服务并不包含任何医疗卫生业务特征。

       7.5.1 、大数据平台组成

大数据平台对Apache开源组件进行了封装和增强，对外提供稳定的数据分布式存储和分析能力，包括数据的访问、存储、处理和保护功能。各自组件提供功能如下：

Manager：作为运维系统，为大数据平台提供高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等。

HBase：提供海量数据存储功能，是一种构建在HDFS之上的分布式、面向列的存储系统。

HDFS：Hadoop分布式文件系统（Hadoop Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。

Yarn：Hadoop 2.0中的资源管理系统，它是一个通用的资源模块，可以为各类应用程序进行资源管理和调度。

MapReduce：提供快速并行处理大量数据的能力，是一种分布式数据处理模式和执行环境。

Spark：基于内存进行计算的分布式计算框架。

Storm：实时流处理组件。

ZooKeeper：提供分布式、高可用性的协调服务能力。帮助系统避免单点故障，从而建立可靠的应用程序。

Hive：建立在Hadoop基础上的开源的数据仓库，提供类似SQL的Hive QL语言操作结构化数据存储服务和基本的数据分析服务。

FTPServer：通过通用的FTP客户端、FTP协议提供对HDFS文件系统进行基本的操作，例如：文件上传、文件下载、目录查看、目录创建、目录删除、文件权限修改等。

Porter：包括Loader、Flume、FTP Server。Loader实现大数据平台与关系型数据库、文件系统之间交换数据和文件的数据加载工具，集成开源社区Sqoop功能，同时提供REST API接口，供第三方调度平台调用。

Flume提供日志导入功能。

Miner：提供数据挖掘服务，自研组件。

Farmer：提供数据服务框架，自研组件。

Hue：提供了开源Hadoop组件的WebUI，可以通过浏览器操作HDFS的目录和文件，调用Oozie来创建、监控和编排工作流，可操作Loader组件，查看Zookeeper集群情况。

Oozie：提供了对开源Hadoop组件的任务编排、执行的功能。以Java Web应用程序的形式运行在Java servlet容器（如：Tomcat）中，并使用数据库来存储工作流定义、当前运行的工作流实例（含实例的状态和变量）。

Solr：一个高性能，基于Lucene的全文检索服务器。Solr对Lucene进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文检索引擎。

MPPDB:自研的基于share-nothing的并行数据仓库，满足海量结构化数据的高并发查询。

大数据平台以Apache社区版本Hadoop为核心组件，保持100%兼容社区版本的策略，任何核心组件代码修改均开源回馈社区。长期技术路线上保持和社区同步演进，并不断吸纳社区成熟功能组件进来。对开源组件在性能上进行持续优化，并提供企业级的安全保障和服务能力。

运行环境（支持的OS版本）

运行的物理平台: 通用X86服务器; Bit-mode ：64位；

支持的OS:

SUSE 11 （SP1/SP2/SP3）

RedHat （6.4/6.5）

CentOS （6.4/6.5）

      7.5.2 、平台规划

       7.6、 模块化数据中心设计

机房建议采用模块化机房解决方案，它由不同的功能部件组成一个完整的机房模块，集机架、配电、制冷、监控、管理与维护、安全等系统于一体，实现了供电、制冷和管理组件的无缝集成，并使其智能、高效的运行。

模块化机房采用的是“密闭冷通道”方案。

支持水泥地面。一个模块化数据中心按照一定数量的机柜（包括服务器机柜、网络机柜、配电列头柜、行间空调）配置。

服务器机柜、配电列头柜、网络机柜的尺寸统一为W×D×H=600mm×1200mm×2000mm，机柜符合19英寸标准，可用空间42U，前后风道。密闭通道的宽度为1.2m。

顶部天窗可以根据消防告警信号进行控制打开，能保证七氟丙烷或二氧化碳气体灭火剂能够快速进入模块进行灭火。

模块化机房涵盖了其中的供电、制冷、综合布线、监控、消防、接地等系统，符合国标A等级机房要求。

模块化机房产品，是一套完整的机房解决方案。

它由不同的功能部件组成一个完整的机房模块，集机架、配电、制冷、监控、管理与维护、安全等系统于一体，实现了供电、制冷和管理组件的无缝集成，并使其智能、高效的运行。

该方案从根本上解决了客户不断变化的业务需求与低投资、高回报之间的矛盾，满足了未来的云计算、虚拟化、刀片式服务器等高密低耗、快速部署、灵活扩展的需求，有效地提高了数据中心的工作效率，控制了投资成本。

模块化数据中心的特点如下：

由不同的功能部件（配电柜、服务器机柜、空调、综合布线柜、通道密闭件等）组成一个完整的机房模块。

以机柜为单位进行灵活扩展，支持业务动态快速增长。

部件模块化，安装接口标准统一，将交付安装部署周期减少到8~12周。

密闭的“冷”或“热”通道，避免冷热气流的混合，提高制冷系统的能效，与传统数据中心相比，减少高达30%的能耗。

制冷单元与服务器机柜并排放置，让冷热空气直接在机柜和空调之间以最短的路径循环，大大缩短了热源与排热系统之间的距离，使单个机架功率密度和IT负载密度都大幅度增加，达到最大25KW/机架。

采用电源及制冷容量规划管理软件，实现在同样的电源和制冷设备情况下支持更多IT负载，从而提升效率，降低IT投资与运营成本高达15%。

       7.7、 容灾备份系统设计

       7.7.1 、备份规划

学校数据中心的业务系统平台，是全局的计算中心、存储中心、备份中心，承载着学校的核心业务系统，随着业务的快速发展，对业务连续性的要求也越来越高。

***数据中心的容灾备份规划可以分为两部分：本地数据的安全性保障与业务系统的连续性，同城业务的连续性容灾。

一、物理环境集中备份

物理平台需要备份的数据主要有：应用以及文件数据。

应用类型多种多样，版本也多种多样，例如Oracle、SQL Server数据库等。

因此，对物理平台的备份系统要求支持广泛的兼容性（应用类型以及版本、操作系统类型及版本等），以确保备份系统的完整性，采用专业的备份软件实现数据中心数据库本地备份，或者多数据中心集中备份。

集中备份的主要特性：

备份类型：完全备份，增量备份，差异备份，合成备份

组网拓扑：LAN-Base，LAN-Free，Server-Free

文件系统：支持Windows、Linux、Unix

虚拟化平台：支持VMware、Hyper-V、Xen

应用系统：支持AD、Documentum、Domino、Exchange、SharePoint、Groupwise、DB2、Informix、MySQL、Oracle、Oracle RAC、PostgreSQL、SAP、SQL Server、Sybase

重复数据删除：支持源端重删、目标端重删、并行重删、全局重删

数据压缩：支持备份软件压缩（客户端、目标端），支持备份存储端压缩

数据加密: 支持客户端加密、目标端加密

数据远程复制: 支持同一备份域内的复制，支持不同备份域之间的复制

NDMP备份:支持

带库、D2D2T:支持

统一管理:支持GUI图形化管理，支持多备份域统一管理

二、虚拟机环境备份

虚拟化平台的数据备份保护，从两方面进行考虑：虚拟化平台、虚拟机上的应用：

虚拟化平台的备份保护，主要是对虚拟机整体进行保护。业务恢复时，主要是以虚拟机为单位进行整体恢复，也可以细化到虚拟机的某个目录进行恢复。这类保护主要是针对于虚拟机上无特殊应用的场景。

如果虚拟机上运行了数据库等应用，则需要对虚拟机上的应用进行单独备份，以确保应用程序的可恢复性。

针对虚拟机环境备份需要提供专用的虚拟机备份软件，可以基于虚拟机快照和CBT（change block tracing）技术，对虚拟机数据提供全面的保护，可以满足海量虚拟机备份场景、简单易用、性价比极高的数据保护方案。

满足海量虚拟机备份场景需求：采用分布式架构设计，整体备份性能随备份节点增加而线性扩展。

备份管理简单易用：提供备份策略配置向导，轻松完成虚拟机保护配置。

超高性价比：利用重复删除、压缩、永久增量等技术，减少存储空间，降低35%的存储购置成本。

虚拟机备份的主要特性：

VM备份

异构虚拟化系统保护：一套备份系统即可同时为FusionSphere 及VMware提供数据保护。

永久增量备份：结合虚拟化平台CBT技术及独创（专利）的备份数据组织格式，去除周期性全量备份，实现真正永久增量备份。

智能备份：支持自动发现并备份用户定义特征的VM，即使VM位置发生变化也可发现并备份。

LAN-Free：支持LAN-Free的方式（即以SAN传输备份数据）进行备份恢复。

VM恢复

整机和磁盘恢复：提供不同级别的恢复。整机恢复既可恢复用户磁盘数据也可以用户虚拟机的配置信息；磁盘恢复允许用户选择指定的磁盘备份数据恢复到指定的VM。

细粒度恢复：支持文件级别细粒度恢复，可在不恢复整个磁盘的情况下，恢复用户需要的文件。

增量恢复：支持只恢复磁盘与备份数据之间的差异数据。

备份数据处理

数据缩减：支持数据压缩及重复数据删除，为用户节约备份容量空间。

数据过期：提供基于时间、基于份数的多种过期策略，支持实现天/周/月/年备份数据，分不同密度保存。

其它

北向接口：支持RESTful北向接口，开放所有功能，支持第三方平台（如云计算、云备份运营平台）的集成。

任务失败切换：支持备份节点故障后，任务可在数分钟内分配到其它节点运行。

任务负载均衡：自动选择相对空闲的备份服务器执行备份恢复任务，无需用户手动分配。

       7.7.2、 本地容灾

***数据中心的本地业务的连续性可以通过本地高可用方案保障，即主业务存储使用两个阵列存储，可以是高端的、或中、低端的，也可以是通过阵列存储挂异构存储，通过FC SAN网络数据同步镜像实现。

本地高可用解决方案通过卷镜像技术，实现存储的高可用部署，结合主机层集群技术如Oracle RAC等实现业务连续性本地高可用解决方案，当故障发生时，确保备用服务器，备用网络和备用存储能快速自动的实现业务的冗余访问。

避免因设备故障引发的业务长时间中断。

数据中心应用服务器通过服务器集群或者应用程序集群实现高可用组网，当任一服务器故障之后应用可以自动通过备用服务器接管。

存储层通过冗余的光纤交换机、磁盘阵列实现高可用组网，当任一交换机，磁盘故障或者友商阵列故障，不影响服务器数据访问。

本地高可用方案不需要VIS存储虚拟化网关，相对来说成本更低，减少了VIS的故障点。

本地高可用解决方案要求是端到端全冗余方案，保证系统7×24小时持续运行；

支持异构存储，保护已有投资，消除单点故障，防止设备老化影响业务系统运行。

l 高可靠性

数据中心端到端设备冗余，本地高可用解决方案通过对存储阵列中业务LUN创建卷镜像，使其同时拥有两份完全独立的数据副本。

其中一份数据副本或者一台设备整体故障，不影响主机业务的运行，大大提高数据可靠性。

l 高兼容性

存储可以广泛兼容友商阵列，如：EMC、IBM、HDS、HP和SUN等厂商常见存储设备，充分利用设备剩余资源，保护现有投资。

l 扩展灵活

结合容灾复制等增值特性，可以平滑扩展到更高级别的容灾保护方案，如同城双活容灾、异地主备容灾、两地三中心容灾等。

负载均衡层

（1）数据中心间负载均衡

采用负载均衡作为数据中心间的负载均衡器，可充分利用负载均衡器的各种算法，负载均衡器实现包括链路可用性探测、链路性能探测、server性能探测，静动态算法均可使用，从而可充分合理的分配每条链路、数据中心的使用，为用户提供最优体验的数据中心访问，提升应用的可靠性和可用性。

（2）数据中心内负载均衡

采用负载均衡作为数据中心内的负载均衡器。负载均衡器对用户透明，屏蔽真实的多台WEB服务器，对外提供一台虚拟服务器(Virtual Server)，负载均衡器接收来自客户端的业务请求，将业务负载分担到真实的WEB服务器处理。

应用层

支持IBM HTTP Server（以下简称IHS）或Apache作为WEB服务器，处理静态页面，同时将动态页面业务负载转发到应用服务器。

支持IBM WebSphere Application Server（以下简称WAS），Oracle Weblogic作为应用服务器，处理动态页面。也可将应用部署于虚拟机环境，从而提升整体数据中心的资源利用率。

数据库层

采用Oracle数据库实现双活，两个数据中心的Oracle服务器构成一个Extended RAC集群，提供跨数据中心的自动负载均衡和自动故障转移功能。

存储层

在两个数据中心各部署一台同等级和同容量的OceanStor系列磁盘阵列，组成一个跨站点存储集群，为两数据中心主机业务同时提供读写服务。支持扩展至32控制器。

为了提升热点数据的存储性能，使高价值硬盘得以更充分的利用，配置不同类型的硬盘：

SAS、NL-SAS、SSD以合理分配资源；通过存储提供的SmartTier功能对热点数据进行持续监控并从机械硬盘迁移到SSD中，进一步提升系统性能。

两个数据中心的磁盘阵列利用HyperMetro双活技术对两中心的磁盘阵列做镜像冗余配置，实现两个数据中心存储数据实时镜像，互为冗余。任意数据中心故障，数据零丢失。

网络层

（1）数据中心间网络

数据中心之间集群IP心跳和FC数据传输网络都采用裸光纤直连，传递控制信息、配置信息和数据同步，满足双活数据中心网络时延要求。

两个数据中心的FC交换机连接到波分设备，提供稳定的高带宽与低时延。若无法提供波分设备的环境，且两个数据中心距离不超过25km，也可采用两个数据中心的FC交换机两两级联并部署2对裸光纤，组成双交换组网，保证FC复制链路的冗余。

（2）数据中心内网络

核心交换机推荐采用CE12800系列，该系列支持的EVN(Ethernet Virtual Network,以太虚拟网络协议)可实现跨DC二层互联，隔离二层广播域以完全消除多DC广播风暴风险，同时优化跨DC的ARP广播、未知单播流量降低广域网带宽压力；

配合双活访问优化特性，可实现数据中心网关双活及业务级双活的就近访问。

推荐采用CE500/CE6800作为双活数据中心的接入交换机。

管理层

为了实现双活数据中心存储设备的统一管理，部署统一容灾管理软件，建议统一容灾管理软件BCManager，实现双活数据中心的可视化管理，并通过管理软件直观的展示双活业务的物理拓扑。建议将管理软件部署于学校主数据中心的物理服务器。

      7.7.3 、同城主备容灾设计

主备容灾，指客户在生产中心之外，另一地点选址建设容灾中心，形成一对一的数据级或应用级保护。

主备容灾解决方案有以下几种建设模式：