1. 综合查询系统(SQLQuery)
6.1 系统概述
很多学校、企事业单位已经架设了宽带网络,各级部门业务系统有稳定的业务数据库,并积累了一定的历史数据。但是在硬件环境和网络基础都完备的情况下,数据的查询仍然还是按照原始的方式,以报表模式,层层上报来完成,宽带的利用率极其低下,造成了有路没车的情况,工作效率仍然没有提高。
综合查询系统( SQLQuery)利用广域网和局域网的网络环境,由上级单位直接对本地、异地机构的业务数据库或数据仓库进行查询,省去了各层系统管理员生成报表上报的环节,有效地节省了时间。
本系统适用于对本地和异地分支数据库有查询、报表生成需求的学校、政府和企事业单位,应用范围极其广泛,无论大型多级机构的复杂网络数据环境还是中小基层单位的简单数据环境,都可以轻松应用本系统生成专业化的查询报表。
6.2 整体结构
如下图所示,综合查询系统( SQLQuery)所查询的数据库或数据仓库可以通过局域网环境工作,用户可以通过IE浏览器进行报表的查询。
综合查询系统( SQLQuery)是针对业务数据库或数据仓库中数据进行查询的软件系统,查询结果通过表格方式展现,结果可以保存成Excle、Pdf等格式。
它可以查询SQL Server、Oracle、Sybase、Informix、Mysql、Sybase等常见系统数据。
它主要特点是建立业务视图,将业务指标和数据库进行映射,普通用户以业务指标方式访问底层数据,非常易于使用。应用方式如下:
1) 系统以业务人员熟悉的业务指标形式,将数据查询结果通过报表、图形等表现方式展示给用户。
2) 提供表格、图形、网页等多种表现形式,满足用户不同场合的应用需要。
3) 能将查询结果导入Excel表格中,利用Excel实现精确打印,以及更为复杂的数据加工和二次分析功能。
使用报表设计工具完成报表设计,在系统中调用报表模板,根据用户的查询条件生成各种报表和图表。
系统结构如下如所示。系统的应用过程,首先是建立业务数据库的连接,开发人员通过报表设计工具构建报表模板,将业务指标与数据库中的数据进行映射关联,即将数据库中的相关表及表中的字段与业务术语对应起来。在用户进行数据查询的时候,报表引擎根据用户的查询条件调用相应的报表模板,生成报表展示给用户。
6.3 功能概述
报表设计工具
报表设计工具分为如下四个部分:
数据源管理
配置数据库的连接引擎,可以通过配置连接串,从多个数据库提取数据,包括Oracle、SQLServer等。
数据集管理
就是报表需要的数据集合,可以是一个表或多个表的联合形成的数据集。
参数管理
定义报表中数据集中所需参数的名称及数据类型。
模板管理
主要功能是设计报表样式和数据项的对应关系。
报表展示
OCX组件嵌入浏览器中,显示报表,打印输出。实现如下功能:
报表翻页
首页、前翻、后翻、尾页。
数据输出
可以导出Excel、Pdf、word等多种格式文件,通过导出相应的格式文件,用户可以根据自己的实际业务情况,对报表数据进行再处理。
打印设置
结果前端展现
表格形式展现
统计图形式展现
6.4 核心功能
我公司开发人员按照学校的业务需求,通过报表设计工具设计报表,完成从业务数据库等不同的数据库(包括Oracle,SQLServer,sybase等)中将数据形成业务视图,综合查询系统( SQLQuery)根据用户的查询条件生成统计报表和图表,发送到客户端进行展示。
6.5 综合查询系统( SQLQuery)的特点
综合查询系统( SQLQuery)以业务视图为核心,可视化方式生成查询,方便灵活的搭建网路查询业务为特征,是依托于网络环境的,对多种数据进行查询分析的应用系统。其特点是:
实时性
在线实时查询,使用户在第一时间获得最新的业务信息,随时观察业务数据的变化。
多样性
1) 图文并茂,不仅提供表格性查询,也可以提供多种统计图形查询(柱状图、饼图、折线图、面积图等)。
2) 多种查询方式,包括一般查询、汇总分析查询等。
适用性
1) 不仅可以生成明细查询结果,而且可以生成综合汇总查询结果,这样就可以满足基层用户查询明细数据的要求,也能满足领导、管理人员对汇总数据的查询需求,从而有效地进行分析、对比和决策。
2) 不受行业限制,适用范围广泛,而且可以整合多种业务查询(如人事、财务、库存、资产、专项业务等)为一体。
安全性
查询的所有数据,都属于只读数据,对原有数据库系统没有任何破坏作用。
支持多种数据库
1) 支持多种常用数据库,包括Oracle、SQL Server、Access、sybase、mysql、informix等。
2) 利用Excel实现打印和复杂的二次分析功能。
6.6 综合查询系统(SQLQuery)与联机分析处理系统( OLAP)的区别
查询报表作为信息展现的基本手段,称为商业智能的产品的重要组成部分。
市场上的查询报表系统可以被划分为两类:一类是基于业务数据库的数据查询软件;另一类是基于数据仓库的联机分析处理软件。
对于中小应用环境,或者组织机构的基层单位,同样需要灵活的数据获取能力,以满足日常工作的决策支持和信息获取需求。
这样的用户特点是:业务数据相对少;业务种类单一,不涉及多个业务系统间的交互操作;业务管理软件运行负载不大,允许基于业务数据库执行大量的查询操作。这些用户没有必要构建复杂的、难以维护的数据仓库系统,只需要在业务系统之上构建具有与OLAP产品相应能力的数据查询软件即可满足要求。
综合查询系统(Googosoft SQLQuery)与OLAP应用环境的比较
比较内容 | OLAP | SQLQuery |
是否需要构建数据仓库 | 需要 | 不需要 |
能否对业务数据库直接查询 | 不能 | 能 |
业务系统的数据量 | 大量数据 | 中小量数据 |
是否允许多个业务系统的交互 | 允许 | 不允许 |
是否适用于数据集中的环境 | 适用 | 不适用 |
对数据获取的时效性要求 | 可以有一定的时间延迟 | 获取当前业务数据 |
对业务数据库运行性能的影响 | 没有直接影响 | 有直接的性能影响 |
项目实施的复杂程度 | 较复杂 | 一般 |
2. 数据维护管理
对公共数据库中的所有数据提供管理功能。用户可对权限范围内的数据进行处理工作,系统自动记录用户操作日志,支持手工录入、手工导入和程序录入等数据转入方式。
3. 数据集成监控
随着数字化校园数据交换任务的不断增加,日常维护工作也不断加剧,数据交换监视系统可以直观的显示数据交换任务的拓扑图,便于用户掌握全局数据交换任务的运行情况。系统可对数据交换过程中出现的问题进行自动提醒,辅助管理人员通过日志分析数据交换任务失败的原因。
数据交换监控包括数据抽取与数据订阅的审核、数据交换的情况、数据交换日志、数据交换定时轮询的设置等功能。
监控是查看任务执行的成功与否,主要是监控ETL的整个过程,通过扫描ETL各任务的日志文件中的关键值,如记录时间等信息当前的状态作比较,如果超过某个值,则认为该模块运行可能出现问题,应警告。
对于数据交换中心数据的变更情况、数据的利用情况、资源的使用情况可以及时统计出来,并可以通过消息的方式及时通知到相关人员。
通过消息服务,相关人员可以查询学校各部门提供数据、获取数据以及提供获取数据的统计结果,具体效果图分别如下图。
各部门提供数据服务:
各部门提供数据记录查询
获取数据服务
各部门获取数据记录查询
提供获取数据统计
对学校各部门在某段时间范围内提供数据、获得数据的情况进行统计。
按时段查询各部门数据交换情况统计结果
1. 应用系统集成
首先需要完成全校范围内现有数据的规范化整合和处理,将目前分散在各个应用系统,采用不同规范编码的数据通过一系列工具进行整合,并集中储存到数据集成平台的共享数据库中,作为全校范围内全面完善而且规范的数据源。为现有业务系统和将来需要建设的应用系统提供全面的数据资源。
用户的管理在统一身份认证平台集中进行,应用子系统不单独维护用户信息,所有的用户信息均来自于统一的身份认证服务,原则上要求统一认证用户库中的用户基本信息数据是相对完整的,各子系统的用户基本信息数据是该系统用户数据库的子集;对于某些已经建成的应用系统,统一身份认证平台支持应用系统建立自己单独的数据库,定制开发后台数据复制的服务,使得应用系统可以保持和统一身份认证平台数据的一致;对于有Web的应用系统,做到单点登录。
应用发布的集成主要完成我校学校应用系统信息查询服务的集中,使用户能够在一个统一的入口内,使用所有应用系统提供的信息查询服务。
中国城市大学数字化校园建设框架平台的应用系统集成包括学校现有建设应用系统和后上的应用系统的集成。如何有效整合与数字化校园平台及应用软件系统框架平台集成,需要在更详细的调研和预研后才能定下明确的方案,根据当前所获得的信息,我们认为中国城市大学数字化校园平台及应用软件系统的集成主要是三个层次的现有集成:应用服务(界面)集成、身份认证集成、数据集成。需要集成的系统包括:教务管理以及后续的各应用系统。
应用服务(界面)集成
应用发布(界面)集成主要是对各应用系统或应用系统的功能进行服务的集成,通过服务管理平台来进行管理,并可以初始化到统一信息门户(Portal)上来,以供师生使用,同事师生可以根据自己的需要进行个性化定制,实现个人一站式服务中心。
统一身份认证集成
根据现状确定一套用户身份信息,作为身份认证平台和数字化校园平台及应用软件系统的用户权威身份信息,建立起统一的认证平台,完成目前适合集成认证的系统的集成工作,同时留有接口供后续建设的系统无缝的与身份认证平台进行集成。集成原理见《统一身份认证平台》。
数据集成
利用数据中心平台的数据交换与共享平台,支持异构数据库的共享交换。从现有的应用系统数据中抽取出需要共享的数据,使共享数据平台成为全校范围内唯一的全面的数据源,完成数据层的集成,同时为相关应用系统提供共享数据访问服务,即数据订阅,为在全校范围内进行综合数据分析服务提供完备、有效、可信的数据基础。集成原理见《数据中心平台》。
8.1 应用发布(界面)集成
应用的集成主要是通过服务管理平台来实现应用服务的集成、注册、发布、查找、管理,并通过信息门户平台(Portal)来展现。
各应用系统提供符合技术标准与规范的服务,服务包括如下:
Web Service 集成
URL资源功能服务
WEB剪辑 集成服务
Iframe集成服务
RSS集成服务
API集成服务 Portlets集成服务
师生通过统一信息门户平台进行个性化定制以实现一站式服务。
8.2 统一身份认证集成
统一用户身份集成与同步
统一用户身份集成首先要实现在各系统中的师生身份的统一,教师一般用教师职工号,学生一般用学号,建立全校统一的中央身份库,中央身份库存储在目录服务器中(LDAP),并实现与一卡通有身份转换。
用户身份的集成将利用数据中心数据交换的功能从用户身份的权威数据源(教师身份信息的权威数据源在人事管理系统,学生身份信息的权威数据源在招生管理系统或教务系统或学生工作管理系统)抽取到中央身份库(LDAP)。
通过统一身份认证系统中用户管理实现用户身份信息的同步
对于学校若存在特殊应用系统,还可以通过统一身份认证系统进行身份转换,如:全校其他系统都可以统一身份,但某一系统因为特殊原因不能用教师职工号或学号作为统一身份,则我们系统可以作身份转换。
8.3 数据的集成
数据的集成与共享的原理与技术参见数据中心平台章节。
业务系统配置
通过数据共享调研,各业务系统需共享的数据集成到数据中心,需要对业务系统进行配置。
业务系统数据服务器配置,主要是业务系统数据库数据(中介库)可供数据中心读/写的服务器配置。
数据集成
相关数据集成的系统在遵循数据交换集成的标准的基础上,根据不同应用系统的实际情况,通过分析确定共享的数据项,主要通过建立触发器来捕捉应用系统要共享的数据的变化,并把变化的数据放到指定的中介库上,并以消息机制的方式通知数据中心,数据中心把数据从中介库中通过企业服务总线ESB来完成数据集成。
数据集成根据数据量的大小与时效性要求,可以把数据集成分为两部分:一、数据变化频繁,时效性要求高,但数据量少的数据,如:学籍异动等信息;二、数据量大的阶段性数据,如:学生选课数据、学生的成绩数据等信息。
对于“一”的信息数据中心要实时抽取;
对于“二”的信息数据中心要定时抽取,而且一般放在夜间进行。
数据订阅
业务系统可能要到数据中心订阅教师基本信息、学生缴费信息等信息,可以采用数据中心提供的数据订阅功能实现
但对于学校已经建成的系统但不符合学校信息标准的数据集成,数据的交换可以通过数据平台平台提供数据转换、清洗功能。
8.4 数据中心应用模式
8.4.1 数据整合与数据仓库(数据转换系统+联机分析处理系统)
有些具有数据查询和分析需求的用户,不仅已经具有了完整的业务处理系统,而且具有强烈的数据集中和辅助决策需求。用户对数据仓库有较深的了解,期望能够构建全局需要的数据仓库和数据集市,并能够使用前面的辅助决策工具支撑数据分析业务。多数用户已经铺设了高速的内部专用网。用户也有很高的信息化投资意识和资金,有能力构建满足各种决策支持系统。
比如,学校和省市级税务机关,具有将下属单位的数据进行集中和提取辅助决策的支持能力的需求,也具备构建数据仓库和决策决策系统的能力和条件。他们的业务系统上下统一,需要在业务数据基础之上进行进一步分析,首先需要利用数据转换系统进行数据集中,然后需要对集中的数据建立数据仓库,进而利用联机分析处理系统对数据进行业务关联建模,对业务指标进行综合立体的展现分析。对数据仓库进行维护,或者增加业务分析指标等操作。应用模式如下图所示:
8.4.2 业务数据查询(综合查询系统)
有些具有数据查询和分析需求的用户,用户已经使用了具有事务处理能力的业务软件,对数据集中没有需求,只需要对现有的数据库进行查询和管理,利用综合查询系统(Googosoft SQLQuery)就可以方便的完成。
应用模式如下图所示:
8.4.3 内外网数据交换
随着互联网的发展,需要安全、快捷地实现内部管理系统,外部Web系统交换数据,单位之间也需要进行大量的数据交换,而且出于安全考虑,不可能允许对方相关系统直连。应用Googosoft ETL数据转换系统,就可以实现内外网之间的灵活的数据交换,平台可以对不同标准、不同格式的数据进行翻译。同时,平台可以对内部系统和外部系统进行隔离,通过平台本身的安全机制,保证数据的安全性。