为高校大数据解决方案提供建设咨询、大数据建设、数据处理、数据的存储与建模、分析与挖掘、呈现与应用、安全与运维等全流程服务。

       面向高校管理、服务、科研和教学的主要职能，为用户提供软硬件环境的整体设计，为高校构建整体的大数据应用服务环境，从而帮助用户开展教育数据的深度分析和应用工作，助力高校从IT向DT迈进，创新信息化应用价值，构建持续化的发展能力。

       一、 应用需求

       2015年8月，国务院印发了《促进大数据发展行动纲要》(以下简称《纲要》)。

      《纲要》明确指出，要将大数据技术应用于我国的文化教育领域，建立教育文化大数据。从目前全国各高校的信息化规划来看，都将大数据列为重点工作内容。

       高校中的数据有很高挖掘分析价值，近几年来高校数字化校园的建设丰富了学校教学、科研、行政管理、生活服务等各方面的数据。

       然而，高校要想发挥这些数据的潜在价值，探索教育大数据的应用，还将面临以下挑战：

       数据接口不完善，有效数据质量不高；

       对信息化软硬件和运维服务要求高；

       建设需要关联分析、统一规划；高校的用户类型多，需求各异。

       二、 架构

       高校大数据解决方案的核心智能大数据Sunm-In Center， 采用业内领先技术， Sunm-In Center具备极高的可用性、超强的扩展能力、优秀的处理性能，能高效处理PB级别以上的数据。支持图形化采集校内业务系统、互联网以及设备日志等不同类别数据，提供强大的实时和离线计算能力的同时还拥有丰富的数据挖掘分析算法，能够为高校管理、服务、教学和科研等方向提供深度的大数据综合分析结果，从而为高校用户打下海量数据深度分析的基础，挖掘数据潜在的核心价值，辅助决策。

       2.1、智能数据采集中心In Center-DC

       InCenter-DC通过接口读取、数据库获取、网络爬虫和智能录入4种方式采集学校数据， 全量存储在融合HIVE、MySQL、HDFS多种集群的数据仓库中， 保证数据的原始性和多元性。

       此外， In Center-DC支持结构化、半结构化以及非结构化数据， 支持FTP、HTTP、Oracle和Syslog等采集方式。同时开创性地采用了可视化ETL工具设计， 用户可灵活拖拽， 自主设计数据采集， 并提供图形化的数据报告，用于数据监控与质量追踪。

       2.2、智能数据预处理中心In Center-PT

       In Center-PT是数据预处理工具， 可将缺失数据、错误数据、不可用数据等进行处理，结合学校标准和国家标准规范，对学校数据进行重新梳理，以保证大数据分析的原始数据质量。

       2.3、智能挖掘算法中心In Center-MA

       In Center-MA内置了大量高校大数据与机器学习算法， 包括分类、聚类、回归、频度关联和神经网络等，形成学生素质评估、行为异常、心理异常等大数据分析模型。

       同时In Center-MA内置超过50种高校行业定制优化的专用算法， 用于深度挖掘分析大数据中的海量数据，从而快速基于高校业务构建大规模数据挖掘分析。

       2.4、智能统一API中心In Center-UA

       In Center-UA是通过整合大数据中各类型异构的数据库， 实现接口统一封装与数据调度， 屏蔽由于语言和工具导致的接口差异， 对外提供标准的JDBC接口， 同时支持R语言、Python、Java等多种开发语言， 并且支持对接第三方BI开发工具，提高用户数据查询、数据存储管理和自主开发的易用性。

       三、关键技术

       3.1、精准可视化的数据治理技术

       通过灵活拖拽，自主设计数据采集、适配和转换的流程，并提供可视化的高校智能ETL工具箱， 实现数据的图形化采集与监控管理。

       同时， Sun m-In Center成功采集与治理过的高校数据源超过40种，每天处理的数据条目超过300万，有着非常丰富的高校数据采集落地经验，可适应高校不同现状的数据治理需求。

       3.2、高效实时的数据处理技术

       提供了批处理、分时处理和实时处理等多种数据处理方式，满足高校不同类别数据产生因时间、空间及格式不同带来的数据多样性； 同时提供了Hash、Range、List和Datetime等分片技术， 实现了数据处理的动态均衡、弹性伸缩， 提升了数据处理的时效性。

       3.3、极致性能与高效检索技术

       具备出色的多任务并行处理及分布式计算性能，在性能及扩展性方面具备低延迟、高吞吐、强容错、易扩展等特点； 结合Eat ic Search和针对高校行业自定义分片技术，达到毫秒级全文搜索，可实现单条查询速度3毫秒以内、十亿多条日志量检索时间在7秒以内。

       3.4、高校算法模型库

       集成Spark计算引擎， 结合多种分布式算法和标准语言算法， 形成内容丰富的高校算法库(含学生特征、心理异常等50多种算法)，让高校大数据分析更具有战略性和预测性；

       内置大量高校常用算法模型。用户通过接口实时调用，实现自主大数据分析，实现数据的价值转化，满足高校自主开发应用、大数据竞赛及灵活的数据分析需求。

        3.5、开放数据标准与生态体系

       提供了对外统一的API接口， 支持SQL、R语言、Python、Scala、Java等多种语言，可无缝对接第三方主流BI，从而实现快速自主构建大数据应用环境，满足高校开发和运维的需求。

       整个产品设计基于业内领先的主流开源技术进行深度定制，并采用模块化设计，可实现在不影响业务正常运行下的版本无缝升级。

       3.6、极为严密的安全防护体系

       融合了权限控制、数据加密/脱敏、审计隔离、报警阻断和多租户安全等技术，建立了标准规范的大数据安全防御体系，全面保障用户的数据绝对安全。同时利用先进的编码容错技术，实现分布式数据存放与恢复，将平均无故障时间提高一倍。

       四、 应用效果

       为高校用户的大数据应用提供了“一站式”的解决方案，包括软硬件环境的建设和统一管理系统的构建，在高校大数据的实际应用上，以精准管理、个性化服务、科研评估以及个性化教学为目标，提供的大数据具体应。在关键应用的交付，能够真正让高校体验到大数据的应用价值。


       4.1、实现精准管理

       1、微观微观分析学校所有数据，建设“管理驾驶舱”，实现全校和职能部门的发展态势一目了然，让全校情况数据化、可视化。

       2、宏观宏观展现全校人事、教务、学工、科研、信息化等全方位发展现状，为学校分析深层次的管理问题提供数据支撑，提前发现潜在问题；支持开放权限给各个职能部门，显示该部门的整体情况。

      3、总体构建正负面舆论预警模型，自动定位出现异常舆论通知校领导，同时支持事后输入关键词跟踪舆论动态。

       4.2、提供个性化服务

       提供学生在校学习生活的全面数据展示，横纵向对比每个学生的个人发展态势，剖析学业、生活及综合素质上升和下降的原因；

       建立全校学生身体素质、理工水平等多维度的个人画像档案，分析优秀学生的行为特征，为学生树立行为模范；

       绘制出学生“行为轨迹”，预测学生失联、逃课、心理以及安全隐患等异常行为，通知老师和领导以规避风险。

       4.3、细化科研评估

       挖掘高校科研的结构发展、成果效益等维度的特征，发现科研项目、学科发展和成果产出等数据间的相互关系，为学校定性科研管理、科研决策提供全面的数据支持，实现高校科研管理的可视化、灵活化和多样化；横纵向对比学校科研发展情况，分析学校之间的差距与优势，提出科研发展策略和建议，提高科研管理的针对性和综合效率。

       4.4、促进个性化教学

       提供学习、生活和活动等方面的报告，推送符合学生课程和兴趣的优质教学资源，对学生选课、课程学习和期末复习提供针对性建议，让学生更好地规划大学生活，为个性化学习提供指导；分析各班各专业的课程学习进展，评估教学质量和预测教学效果，方便教师改善教学策略，促进因材教学。

————————————————
版权声明：本文为CSDN博主「pianofanie」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_29473667/article/details/112279554