第四章 数据中心平台

1. 概述

数据中心平台是高校数据集成领域的全面解决方案﹑自有知识产权的软件系统，提供从数据采集、整合、综合分析利用到系统化维护管理的一系列产品。数据中心的核心目标是“数据整合、辅助决策”。数据采集是前端工作，数据整合是中心环节，以构建数据仓库为基础，数据分析利用是关键所在，数据的维护是应用的辅助和扩展。

数据中心平台是收集、处理和存储各类共享数据，并为全校提供信息共享服务的平台。

为实现系统的集成和各个系统之间的数据共享，提供有效的决策支持数据，需要建立基于数据管理和利用的综合性技术方案的共享数据中心，在用以存放大量数据的同时有效地将数据管理起来，并提供数据访问的手段，为系统集成和各个系统之间的数据共享提供平台，保证数据的及时性、完整性和一致性。

1.1 建设原则

数据中心平台的建设原则如下：

数据的权威性：数据“谁产生、谁维护、谁负责”、统一管理、做到‘一数一源’，从管理、技术上充分保证中心数据库的权威性。

基础性：平台不仅提供了数据的权威性，还为学校提供基于教育管理信息化标准的权威、以及完整性和信息的准确。

标准化原则：数据中心平台的设计应遵循国际标准、国家标准、行业标准、部门标准等。

先进性和成熟性：系统设计的理念要具有采用超前思维，同时又要兼备技术的可行性、方法的正确性等等。成熟性也是平台建设考虑的原则之一，他是稳定运行的基础。

可靠性和稳定性：在考虑技术先进性和开放性的同时，还应从系统结构，技术措施，系统管理等方面着手，确保系统运行的可靠性和稳定性，达到最大的平均无故障时间。

高性能：数据中心平台是进行数据交换的平台，平台需要具有极高性能。

可扩展性及易升级性：为了将学校原有的系统以及对后续信息的能平滑接入平台中，这就要求应用平台的软硬件环境必须有良好的平滑可扩充性，系统结构设计合理，各功能模块相对独立耦合小，同时也应该具有容易升级的特性。

实用性和可行性：便于用户使用，便于系统管理。

界面友好：界面要简洁大方，操作简单并符合管理人员的操作使用习惯。

可管理性和可维护性：系统的维护与管理也是平台考虑的内容之一，这样才能便于系统的日常运行维护和管理。

安全性和保密性：平台设计中要充分考虑到安全性以及保密性，在充分考虑信息资源的共享同时，也要注意信息资源的安全和保密工作，通过网络安全、系统安全机制、数据的存取等各个环节进行控制。

1.2 平台建设目标

建设一个统一的校园数据中心平台，主要实现以下目标：

建立统一的信息标准,避免信息标准混乱，信息不能交流和共享；

学校信息标准的建立需要在遵循国家、行业标准和上级主管部门标准的同时，能够兼顾学校的发展现状；

各应用系统运行依赖于其他系统的数据，需要能够自动从其他系统中获得所需数据，避免重复录入；

各应用系统需要为其他系统提供所需数据，需要能够有自动的方式支持应用系统对外提供共享数据，避免因为相互之间的依赖关系而影响应用系统的可靠运行或限制应用系统；

需要在全校共享使用的公共数据，应该明确元数据的产生单位和维护单位，原则上按照谁产生，谁维护的模式进行数据准确性的管理；

应用系统之间的数据共享需要基于一种安全、可管理的模式进行。

打破信息孤岛。统一共享平台提供了信息共享的手段，打破了部门间的信息孤岛，使各部门的数据能够互联互通。共享的数据既可以包含政策法规等信息，更重要的是各单位和部门的业务数据。

为领导的决策提供实时的数据，发挥数字化校园的实时和准确的特点。通过一个共享平台，整个高校集团每个企业、每个学校的业务数据都可以实时的相互查询和访问。

提高学校内部的工作效率，为不同部门和不同区域的应用整合提供强大的基础。各个部门可以从被动等待数据到主动要求数据和主动使用数据。以往，不同部门间需要查询数据必须通过较多的手续才能最后拿到数据，今后，通过统一共享平台，就能直接访问别的部门所共享的数据。

1.3 平台技术特点

数据中心是国子软件公司提供的高校数据集成领域的全面解决方案、自有知识产权的软件系统。数据中心专门定位于数据整合和辅助决策领域，数据集成能力全面（国子数据转换系统Googosoft ETL、国子联机分析处理系统Googosoft OLAP、国子综合查询系统Googosoft SQLQuery），报表类型丰富（常规报表查询，分析型报表，基础的分析功能）。

建立了成熟、丰富的高校业务模型。

配软件统一信息门户平台，可以集成各种应用系统，围绕中心数据库、数据仓库和业务数据库，通过软件ETL工具进行数据采集、处理、分发、回写、展示等操作，从而构成完整无缝的应用系统。

平台通过统一的用户门户访问，实现多重安全认证机制。设计了涉及安全技术、安全运行和安全管理等内容，安全认证和授权机制能够与CA认证系统进行无缝集成。采用JAVA语言编写，具有跨平台，支持ORACLE、SYBASE、SQL_SERVER等多种主流数据库类型的特点。

严格以国家教育部相关标准以及高校编制的《高校数据共享规范及接口标准》为依据而定制开发，提供了开放的数据共享标准接口，实现与任何遵循数据共享规范与接口标准的软件系统进行无缝集成。

分布式的数据共享方式。系统以共享接口目录为核心，通过目录服务系统映射用户业务库的数据，以SOAP, XML, WSDL, UDDI等Web Service技术建设学校资源目录体系，实现松耦合的校园数据共享。

数据实时共享。业务数据的任何改动可通过目录服务系统实时地体现，用户通过共享数据操作平台所查询的数据均为实时数据。

1.4 数据中心总体架构

数据中心产品从结构上分三层，第一层是数据采集整合层，第二层是数据存储管理层，第三层是应用展现层，如下图所示：

数据采集整合层，是解决数据采集以及对各应用系统异构数据进行梳理，将分散的数据集中的过程。数据中心对于各应用系统数据的情况，采用国子数据转换系统（Googosoft ETL），通过抽取、清洗、转换、装载，对异构数据进行整合，统一装载到目标数据源（数据仓库或数据库）。

数据存储管理层：是解决数据与数据、数据与业务之间关联关系及安全存储问题的层面。通过该层，数据与业务之间将建立起逻辑映射关系，为应用层的展现打下基础。应用系统数据经数据采集整合层的数据转换系统统一装载到数据存储管理层的中心数据库或数据仓库中，由国子元数据维护系统（Googosoft MetaDataSee）对中心数据库和数据仓库的数据进行更新维护。

应用展现层：是面向终端用户的数据展现，是终端用户能直接应用的层面。在应用展现方面，国子数据中心提供了两款产品，分别是国子联机分析处理系统（Googosoft OLAP）,和国子综合查询系统（Googosoft SQLQuery）。国子联机分析处理系统（Googosoft OLAP）是一种对数据仓库或数据集市中存储的多维数据进行立体分析的技术，它将复杂的数据按照业务指标以表格、分析图等直观形式展现，适用于数据量大，将分析纳入日常工作的单位。国子综合查询系统（Googosoft SQLQuery）是一种可以直接对数据库进行查询，并生成报表，适用于数据量相对小的场合。

1.5 基于SOA架构的数据中心平台

在SOA体系架构中，最主要的体现是企业服务总线（ESB），通过ESB技术，将各个业务应用系统的各个子功能统一部署成为单一的服务组件，即WebService，然后根据业务应用环境的需要，对业务应用系统的业务流程、业务逻辑进行调整；这些调用完全基于ESB提供的可视化的管理界面，非常便捷地实现业务流程的调整及业务逻辑修改。

 在共享数据中心平台的总体架构设计时，完全遵守SOA的体系结构、ESB的核心技术；因此对于整个平台的扩充性能力方面，实现即插即用的热部署功能。各个业务应用系统扩展或升级，将业务应用系统配置成各个业务服务对象，通过ESB提供的可视化的配置界面，导入业务服务对象，并发布成WebService，为外部的业务请求者提供扩充的业务服务，方便快捷地进行日常的版本更新或升级。

同时，基于ESB技术的数据交换平台实现了数据集成方面的定制工具，对于新增加的业务应用系统，可以可视化、拖拉、便捷地方式，制定业务数据交换策略，实现业务数据的集成；对于数据集成方面，可以集成不同的业务数据库（配置不同的ESB客户端，在ESB客户端设置不同数据库的连接参数），再通过基于ESB的数据交换平台（ETL），配置数据交换策略，达到不需要写任何一行代码即可实现业务数据的集成、共享。

对于数据集成方面，也基于SOA的体系结构原理，采用数据交换平台提供的可视化配置界面，十分方便的对数据集成方案进行配置；

同时，主题数据库可以根据未来信息标准的变化情况，以可视化的界面、拖拉的方式，更改主题数据库配置，再对数据交换策略进行配置，对未来任何业务应用系统都可以方便的集成。

在共享数据中心平台中，遵循实用性为主导、适度超前的理念进行设计。在技术上采用目前业界比较流行的SOA体系、ESB技术路线，设计共享数据中心的整体架构。同时，也是基于实用性为主导的原则，由于各个业务应用系统的结构不一致性、数据结构的异构性、信息标准的不一致性，必然要求有一个灵活的体系架构，适应不同的应用环境，在尽可能少变动的要求下，实现业务应用系统的整合；因此，我们在整体设计中，采用SOA整体架构设计，并集成企业服务总线（ESB），在实用性与先进性之间选择最佳的方案，实现共享数据中心平台的整体设计。

在数据集成过程中，通过数据交换平台实现业务应用系统的数据整合。在数据整合的过程中，对数据采集与共享过程进行详细跟踪、记录，提供详细的日志管理，对数据交换的详细过程进行记录，方便用户对数据的跟踪管理、审计管理。并对数据交换的过程提供监视界面和信息统计功能，在数据交换异常时，数据交换平台记录异常情况，并可以配置邮件发送的方式通知管理人员有关数据异常情况，方便管理人员对数据监控及管理。

  在数据集成过程中，涉及大量的数据交换策略制订，如果不提供可视化的配置界面，并增加管理人员的大量工作。因此，在数据交换平台中，提供可视化的数据交换策略配置管理工具，以拖拉的方式十分方便地配置对不同的业务应用系统配置不同的数据交换策略，交换调度配置等；并以可视化的数据源配置工具，统一的客户端配置管理，对所有的客户端进行统一管理，统一配置界面，减少管理人员对数据交换配置的工作。

 该产品遵从以下技术路线：

    1．采用组件化开发的框架，基于面向服务架构的设计理念。
    2．严格遵守信息化标准与规范，构建信息化应用平台。
    3．基于J2EE应用平台，分布式、高可靠性、先进的解决方案。
    4．基于ESB服务框架，实现应用平台的开放式结构。
    5．集成中间件系统，保障快速开发、应用环境。
    6．采取WebService技术，统一传输与交换标准。
    7．采取敏捷开发平台，快速构建应用。
    8．基于ETL技术，集成业务应用数据。
    9．基于元数据处理技术，构建面向主题的应用。

2. 功能规划

   本次规划的的数据中心平台、各应用子系统以及各类全局应用系统将共同构成学校完整数字校园系统的数据资源。

   其中，数据集成平台实现数据在各应用系统间的共享；

   共享数据通过数据集成平台和应用子系统业务数据一起，支持面向最终用户的查询和统计。

   数据中心平台建设的内容包括：

1、统一信息标准

根据国家和教育部的《学校管理信息标准》，结合学校的实际情况，统一学校信息编码规范，制定数据字典。主要内容包括：

国标以及教育部、信产部等行业标准在内的参照标准模型及数据初始化；

公共标准以及满足教学、科研、资产等管理需要的校执行标准模型及数据收集；

教职工对象、学生对象、以及教学、科研、管理等相关活动在内的共享数据集模型。

2、构建数据中心平台，实现全校数据共享与集成

在制定统一数据标准的基础上，构建数据中心平台，保证业务系统之间能够通过该平台实现数据共享与集成。

数据中心平台是数字化校园核心技术支撑平台的重要组成部分，是整个系统的信息传输、信息交换总线。

通过数据集成平台将各业务系统数据库中需交换的数据自动上传到数据集成中心库中，并按各业务系统的数据需求将数据集成中心库的数据分发到各业务系统，从而实现数据的统一集成和标准化，为提供数据的综合查询、统计分析奠定数据基础。

同时，保留各业务系统的原有数据库，又确保了各业务系统的完整性。

3、制定统一业务系统数据库建设标准

制定业务系统的集成标准，按统一的数据标准和集成标准，指导和协助各部门完善原有系统或重新开发新系统。

4、建立和完善运行机制，保障系统持续运行

   逐步建立完善数据集成平台的日常维护和运作保障机制，制定管理规范、技术规范、工作流程、服务章程等各项规章制度，保障数据集成平台和各个业务系统的持续运行。