《大学高校大数据分析应用功能分析》由会员分享，可在线阅读，更多相关《大学高校大数据分析应用功能分析（26页珍藏版）》请在金锄头文库上搜索。
1、某大学大数据分析应用功能分析目 录 项目整体目的2项目总体建设内容4. 源数据采集2 大数据管理平台系统42.3 大数据业务分析模块43项目建设清单5. 数据采集与清洗53. 大数据管理平台532.1智能数据采集53. 智能数据治理3.2.3 智能存储检索53.4 智能挖掘算法6325 智能实时计算63.2.6 智能数据运维3.2.7 智能科研实践63.8智能统一PI73.2.9智能数据安全3.教师个人数据中心73.4 学生个人数据中心73.4.1 学生个人信息34.2 学生成绩73.43 奖助学金状况83.5 学生画像应用8. 综合预警分析8.1 关爱周报836 关爱月报86.3低消学生分析
2、8.6. 预警推送836.5成绩预警97 行为轨迹分析.8 校园综合分析93.8. 学生成绩报告982 学生消费报告3.8学生借阅报告93.8.4 教师借阅报告93 学生个人大数据报告04 技术规格规定04. 数据采集与清洗技术规定10 大数据管理平台技术规定14.1 智能数据采集：114.2. 智能数据治理：11.3 智能存储检索:12.智能挖掘算法：24.25智能实时计算:426智能数据运维：1427 智能科研实践：14.2. 智能统一AI144.9智能数据安全：154.3教师个人数据中心技术规定54.4 学生个人数据中心技术规定64.5 学生画像应用技术规定1.6 综合预警分析技术规定1
3、4.7 行为轨迹分析技术规定204.8 校园综合分析技术规定24.9 学生个人大数据报告技术规定25 项目预算221 项目整体目的随着采购人信息化的建设与发展,学校各部门的信息化系统已逐渐建设并投入使用，并且已经积累了大量的可用数据。本项目通过某大学校园大数据分析的建设,将既有各业务系统产生的数据进行全校范畴内的有效整合,并通过数据关联分析，挖掘数据的核心价值，对全校师生提供深层次的信息增值服务，为学校领导及师生分析与决策提供数据支持,最后实现将数据转变为学校效益,提高管理效率，增进教学与服务质量，增强学校的综合竞争力。2 项目总体建设内容本项目具体建设内容涉及如下:2.1 源数据采集本项目需
4、要的数据源,涉及校内业务系统、硬件设备等,涉及各类型的构造化数据和非构造化数据进行采集和集成、数据清洗等工作,并按照统一原则格式进行数据采集入库,建立合适的数据模型。2.2 大数据管理平台系统搭建与开发某大学大数据平台系统,用于管理和存储本项目建设需要的各类源数据，并进行周期性的数据自动预解决,涉及对各类源数据进行采集、清洗、转换、质量解决等操作构建大数据数据仓库；同步提供原则的内外数据读取接口和图形化的数据管理运维系统。2.3 大数据业务分析模块对存储在数据仓库的数据进行解决,按周期时间进行汇集,根据业务需求和顾客规定进行多维关联分析及挖掘解决，制作针对不同场景的数据分析业务。根据数据现状，
5、结合学校大数据建设目的需求,针对性开发与提供7个(清单中第3到第9项）大数据业务分析系统。3 项目建设清单3.1 数据采集与清洗系统数据采集与清冼服务：涉及接口调研，接口调测,数据采集，数据清洗，数据治理，数据质量监控、数据导入等；数据源范畴:一卡通、教务系统、上网认证系统、上网审计系统、门禁系统、图书馆管理系统、校园、人事系统、科研系统等系统。3.2 大数据管理平台3.2.1 智能数据采集支持不同的数据爬虫工具，实现将不同的数据爬取过来。如:htt接口、FTP接口、webserv接口、orale数据库、srer数据库等。支持可视化图形化采集功能，通过可视化采集工具，可以看到不同的业务系统的数
6、据抽取状况,形成采集报告，做整体的可视化监控;3.2.2 智能数据治理对数据进行治理,如数据缺失、数据反复、数据错误、数据不可用等，同步支持对不可用数据提供按规则适配、核心字匹配、枚举转换等治理措施;3.2.3 智能存储检索采用oop分布式存储方式,采用HI、HBAE、HDFS三种分布式存储技术对大数据仓库平台中的数据分类存储,提供原始库、原则库、主题库这三个数据库。支持对整体数据仓储的管理和检索，平台对单条记录查询响应不不小于3s,在10亿以上的日记库中检索响应时间可实现不不小于5ms;3.2.4 智能挖掘算法提供涉及特性工程、记录算法、分类算法、回归算法、时序分析、主成分分析、关联推荐、深
7、度机器学习、信念网络、决策措施等优化的常用数据挖掘算法库，同步提供涉及spark机器学习算法库、python算法库。提供针对于教育行业有关学习、教学、管理、日记、互联网数据等数据的特定算法及模型库,顾客可通过图形界面自主选择使用算法,含成绩原则换算、成绩预测分析算法，协同过滤推荐等算法。商业BI工具采用商业BI，提供=个Lisene授权;3.2.5 智能实时计算针对实时性规定比较高的数据，提供实时采集、实时计算、实时展示功能。运用flu做日记管理、运用ka做实时流解决，形成消息队列解决机制;3.2.6 智能数据运维提供运维管理功能,涉及集群节点和系统服务的可视化配备与管理、性能和运营状况监控、
8、异常告警、权限的管理与配备等有关功能。提供顾客的账号、类型、权限、邮箱等基本信息提供全方位的管理，并以角色权限的控制方式控制顾客对数据平台的访问，粒度可达数据库的每个字段；3.2.7 智能科研实践提供原则封装接口,支持科研构建应用，以便顾客构建科研分析平台。应用端呈现端与数据挖掘平台互相独立,采用解耦合架构,可适合多语言开发人员，并支持多前端应用框架；3.2.8 智能统一PI提供统一的数据仓库开发接口,支持涉及yton、Jaa、R等语言的开发语言,提供原则的ql语言支持。供统一的I接口管理中心，对接口提供统一的管理控制及授权。提供统一的模型主题库开发接口，可无缝对接第三方开发工具,支持顾客自定
9、义业务呈现开发，同步支持对教学的建模及比赛，提供对外服务功能，涉及API接口,构造化数据导出至Orale、MSQL、QLSver等关系型数据库,数据下载等有关功能;3.2.9 智能数据安全构建了大数据平台的管理运维中心，负责大数据平台中的数据查询、数据管理、顾客管理、存储管理、集群管理和顾客管理等工作,采用图形化的工具，实现对成百上千节点的运维管理,同步支持平台性能、访问等异常告警功能并上报系统管理员,减少顾客运维管理的技术难度，做到意外事前预测和事后追踪双重保障。提供租户管理功能，涉及多租户服务,划分大数据分析资源,资源各类等有关功能3.3 教师个人数据中心涉及教师的在校教学、科研成就、图书
10、借阅、在校消费等,整个教师生命周期的综合业务查询与记录分析,并对教师进行个人数据画像3.4 学生个人数据中心3.4.1 学生个人信息学生的个人信息涉及姓名,学号，生日，籍贯，有无严重病史等;3.4.2 学生成绩涉及学生的历史成绩，各类竞赛成绩,英语四六级成绩;3.4.3 奖助学金状况学生奖助学金获得状况，涉及各类奖惩状况。3.5 学生画像应用对学生从招生到成为校友的全过程业务数据综合展示，涉及学生的在校学习、业余活动、在校社团、图书借阅、食堂消费、住宿状况、校友管理等，整个学生生命周期的综合业务查询与记录分析，并对学生进行个人数据画像分析。3.6 综合预警分析3.6.1 关爱周报涉及学生上周的
11、各类数据记录，对比全校学生整体数据状况反映学生成长状况；3.6.2 关爱月报涉及学生上月的各类数据记录,对比全校学生整体数据状况描绘学生成长状况；3.6.3 低消学生分析提供近期低消学生的分布状况、消费状况及相应的补贴发放等状况;3.6.4 预警推送为教师推送存在异常的问题学生,如多次逃课旷课，夜不归宿,疑似不在校,消费状况异常等行为,使辅导员及时理解学生存在的问题。运用统一消息发送平台进行信息推送和异常预警;3.6.5 成绩预警根据学生数据的历史行为体现，为辅导员推送存在成绩下滑危险的学生，使辅导员及时理解状况并采用相应措施3.7 行为轨迹分析反映昨日学生活动轨迹,涉及有关的一卡通数据、wi
12、fi数据,网络登入状况，图书馆借阅状况等，反映学生平常活动轨迹3.8 校园综合分析3.8.1 学生成绩报告每学期记录一次,涉及各院系优秀学生分布状况、各院系平均绩点排名、挂科OP1课程列表等信息；3.8.2 学生消费报告每月记录一次，涉及各院系消费金额总额及人均消费状况、月消费T10排名等信息;3.8.3 学生借阅报告每月记录一次，涉及各院系图书借阅总量及人均借阅状况、最受欢迎TOP图书等信息;3.8.4 教师借阅报告每月记录一次,涉及各部门图书借阅总量及人均借阅状况等信息3.9 学生个人大数据报告提供网页版、微信版本的学生个人大数据报告,可提供消费、课程、成绩、网络几类信息，支持系统调节周期
13、时间段原厂售后服务4 技术规格规定4.1 数据采集与清洗技术规定完毕本项目需要的业务系统，涉及校内构造化数据及校内各类非构造化数据（涉及校内网站内容、学校告知公示等各类文档、图片、业务系统日记等）采集和集成，并进行相应格式转换入库。完毕校外网络日记、互联网数据等采集和数据清洗等工作，并按照统一原则格式进行数据采集入库，建立合适的数据模型,对采集的数据进行抽取、清洗、加工和整顿；根据数据仓库及大数据有关规范，合理制定并完毕数据存储及异构数据关联；对于新增数据的采集部份，重要负责数据源采集、数据质量监控、清洗、数据加载入库等操作，采集的业务数据涉及本项目大数据分析业务分析模块需要的有关数据源。需要
14、对采集的数据进行抽取、清洗、加工和整顿，涉及清理源数据中的噪声数据和无关数据、解决漏掉数据和清洗脏数据和空缺值、辨认删除孤立点、实现数据的汇集，最后保证数据的质量和高可用性。数据的采集和治理平台提供各类以便的支持大数据量的数据加载、转换、传播工具软件。支持访问不同的数据库和文献系统;数据的清洗、转换和传播必须满足时间规定，可以在规定的时间范畴内完毕；支持增量加载,只把自上一次加载以来变化的数据加载到数据仓库。本项目需要采集的数据源涉及如下内容:一卡通、教务系统、上网认证系统、上网审计系统、门禁系统、图书馆管理系统、校园WiFi、人事系统、科研系统系统;以及本次大数据业务建设有关的数据源系统。4.2 大数据管理平台技术规定构建某大学大数据分析与服务平台，盘活既有的所有数据源，涉及构造化数据和非构造化数据,并引入外部数据和互联网数据等,综合在一起进行有效的分析、挖掘,从而高效、安全、稳定、可靠的提供校务大数据服务；并辅之以有效的管理工具和手段，保证大数据平台可控、好管、易用。大数据管理分析平台在技术上要实现智能数据采集、智能数据治理、智能存储检索、智能挖掘算法、智能实时计算、智能数据运维、智能科研实践、智能统一PI、智能数据安全个部份内容，每个部份技术规定如下:4.2.1 智能数据采集:提供针对不同类型、不同构造的数据的接入技术和工具，支持低频知识数据、静态知识数据、高频知识数
