《高校大数据专业教学科研平台建设综合方案》由会员分享，可在线阅读，更多相关《高校大数据专业教学科研平台建设综合方案（52页珍藏版）》请在金锄头文库上搜索。
1、高校大数据专业教学科研平台建设方案 一、项目建设的意义及目的 芝诺数据自主研发的高校大数据教学科研平台以校企联合培养模式为手段,通过校企合伙联合培养机制,让公司、行业深度参与人才培养过程,逐渐实现校企共同制定培养目的、共同建设课程体系和教学内容、共同实行培养过程、共同把控培养质量,全面提高学生的应用实践能力。该平台以应用型人才培养为目的定位,在以解决现实问题为目的的前提下,使培养的学生有更广阔和跨学科的知识视野，注重知识的实用性,有创新精神和综合运用知识的能力。注重培养学生具有在创新中应用、在应用中创新的能力，让学生真正学会大数据行业各个岗位真正的职业技能。 二、功能模块和建设思路芝诺大数据教
2、学科研平台构建总体分为三大部分,一是平台硬件，二是教学与实验支撑系统(涉及：芝诺数据综合分析ZDM平台、芝诺数据教学实训平台），三是产品服务体系。具体如下:构成部分序号名称型号规格与阐明单位数量平台硬件1大数据教学科研一体机大数据教学科研一体机作为芝诺大数据教育产品的载体,是一体化大数据教育科研的解决方案，采用新型技术体系架构,整合软硬件系统，涵盖数据存储、数据解决、数据呈现等全环节。 每套教育大数据一体机可觉得0个顾客提供计算支撑服务,面向客户的业务需求，集海量数据存储、多源异构数据整合、统一数据目录、数据分析与挖掘、数据可视化等功能。台11计算集群 Master节点24核心CPU/48内存
3、00GAS硬盘台21.2计算集群 Slave 节点24核心CP/48G内存/00G SAS硬盘台3.3机柜+互换机+配件42U千兆互换机套1教学实验支撑系统2芝诺数据综合分析DM平台 芝诺数据综合分析D平台是全面基于Aache Hadop及Ache pr计算框架的高性能大数据分析平台,提供一站式大数据开发环境和工具，涉及数据存储、分布式计算、分析挖掘及数据可视化的整套支持。顾客可以在大数据综合分析解决平台上采集、存储、分析、挖掘海量数据及其内在价值。套1.1大数据行业应用数据包超过20 亿条以上具有商业价值的真实项目数据套1芝诺数据教学实训平台 芝诺数据教学实训平台可觉得大数据教学及科研提供一
4、种完整的、一体化的实验教学环境,从而打造出全方位的专业大数据实训室。 学员登录平台后按照实验指南完毕大数据教学实训，教师通过对学员学习状况进行大数据分析析,记录各个班级总体学习进度、每门课程学习进度、学生登录时间记录、所有学生学习状况记录。套1大数据实训项目实验涉及大数据系统和大数据应用2个方向合计60个实验项目，每个项目实验材料涉及：实验数据、实验指引、实验原理、实验环境、实验考核等内容。套1产品服务体系4系统维护提供软硬件平台系统维护。年15师资培训提供免费师资培训机会(每套产品有2个免费名额)。年1案例支持提供真实大数据项目实战案例，不断完善和补充。年1数据提供提供具有商业价值的数据，每
5、年更新10%。年1项目众包提供大数据项目的技术支撑。年1教学与实验支撑系统由芝诺数据综合分析ZDM平台和芝诺数据教学实训平台构成，教学与实验支撑系统部署在大数据教学科研一体机中。二、项目建设的目的及内容1、项目建设目的1)平台的建设能让高校大数据专业与实际应用相结合,提高学生的学习、实践和创新创业能力,可以培养实用性人才所需的专业能力，提高教学效果与就业率,为“大数据时代”的创新人才培养做出奉献。2）平台的建设将支撑大数据去冗降噪、大数据融合、大数据可视化等核心技术研究，可以服务于学校的教学和科研，有助于大数据方向发展和自主创新，有助于创新团队哺育和高水平研究成果积累，有助于提高教师的教学和科
6、研水平，推动教学和科研团队建设。)平台的建设搭建可以发挥学校的行业优势,体现学校办学特色,推动与国内外高校、科研机构和公司间的产学研合伙，开展项目合伙研究和人才培养,增进科研成果转化,增进产学研协同创新。4)平台的建设有助于增进学科交叉与融合。2、项目建设内容1）模块一：平台有关硬件建设本模块重要涉及：大数据教学科研一体机技术参数：作为一种可供大量学生完毕大数据实训的集成环境，该平台同步提供了配套的培训服务,对于教学组件的安装、配备、教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定限度上缓和大数据师资局限性的问题。对于
7、各大高校而言，虽然没有任何大数据实验基本,该平台也能助其轻松开展大数据的教学、实验与科研。2）模块二:教学与实践支撑系统芝诺大数据教学科研平台由芝诺数据综合分析ZM平台及芝诺数据教学实训平台联合搭建。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练，从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实践教学体系。() 芝诺数据综合分析ZD平台芝诺数据综合分析ZD平台是全面基于 ache Haoop 及ApheSpar 计算框架的高性能大数据分析平台,提供一站式大数据开发环境和工具,涉及数据存储、分布式计算、分析挖
8、掘及数据可视化的整套支持。顾客可以在大数据综合分析解决平台上采集、存储、分析、挖掘海量数据及其内在价值。ZDM平台涉及的Hadop生态组件: 平台构成:i Zno Cotaner分布式实时数据库:支持构造化、半构造化和非构造化数据的存储;采用分布式存储,支持海量数据存储,支持高并发的迅速查询。ii. Zeno Mnitr 服务器监控套件:服务器监控是运用aglia和Naios对集群机器进行资源监控,涉及CPU内存，硬盘,网络资源等进行实时监控,以便顾客实时掌握集群机器资源的运用状况。 通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练,从而实现专业实验教
9、学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实验体系，以满足不同窗校的实践需求。iii. eno Mining 数据挖掘套件：支持多种数据挖掘工具相结合,支持aou，MLib自带的并行化的高性能机器学习算法库；同步也致辞基于自定义的编程算法；也有强大的主流数据记录个绘图语言R以及Web图形化开发界面R-Stdio。v. Zno Anlysi 数据分析套件:使用Sqop和Flum支持数据迁移和采集;采用多计算框架模型,可满足不同数据的计算规定。及支持Haoop离线大数据的计算，也支持Stem实时流式解决，还支持Spk内存迅速计算;支持多语言的数据分析工作,支持SQL、
10、Java、Python、Scala等。. Zeno Coop协作管理引擎:基于ookeeper的协调服务机制,采用Yarn的管理模式,支持同步运营多种计算框架,可同步部署Hdoop、torm、Spar等计算框架。ZDM平台工作流：平台长处： 安装以便和谐的图形化安装界面，使顾客可在1小时内,零基本搭建基于Haoop/Sprk的大数据存储、分析、监控及可视化平台。保证安装100成功。功能完备提供一站式大数据开发环境和工具，解决从数据源采集清洗/存储/分析/挖掘/机器学习到数据流解决/可视化/集群监控等问题。Stea分布式实时流解决引擎提供强大的流计算能力,可支持复杂的实时解决逻辑,满足公司实时告
11、警、风险控制、在线记录和挖掘等应用需求 性能保障计算速度比老式关系型数据库快50-10倍。例如，一种集群涉及3个park节点，每个26G内存的服务器，1个计算任务30秒以内解决20M数据,解决过程涉及数据入库、逻辑计算、成果呈现。同步，系统可线性扩大存储容量或提高解决性能，只需要简朴地向集群中增长机器，无需停机。 使用以便图形化的数据分析和挖掘界面,令使用者不用理睬Hadop底层技术,只需专注于自身业务逻辑。 基于Haop的ZDM分布式存储与计算的长处高可扩展性Hadoop是一种高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的便宜的服务器数据集群。不同于老式的关系型数据库系统不能扩展到
12、解决大量的数据，Hadoop是能给公司提供波及成百上千TB的数据节点上运营的应用程序。成本效益Hadoo还为公司顾客提供了极具成本效益的存储解决方案。老式关系型数据库管理系统并不符合海量数据的解决器，不符合公司的成本效益。许多公司过去不得不假设哪些数据最优价值，根据这些有价值的数据设定分类,如果保存所有的数据，那么成本就会过高。aop的架构则不同，其被设计为一种向外扩展的架构,可以经济的存储所有公司的数据供后来使用,节省的费用是非常惊人的。灵活性更好dop可以使公司访问新的数据源，并可以分析不同类型的数据，从这些数据中产生价值,这意味着公司可以运用Hadop的灵活性从社交媒体、电子邮件或点击流
13、量等数据源获得珍贵的商业价值。解决速度更快Hdoop拥有独特的存储方式,用于数据解决的工具一般在与数据相似的服务器上,从而导致可以更快的解决器数据。如果解决大量的非构造化数据，oop可以在几分钟内解决T级的数据，而不是像此前都需要以小时为单位。容错能力更强Hdoop的一种核心优势就是它的容错能力，Hdoop可以自动保存数据的多种副本,并且可以自动将失败的任务重新分派。当数据被发送到一种单独的节点,该数据也被复制到集群的其他节点上,这意味着在故障状况下,存在此外的副本可供使用。 ZD平台安装界面截图：ZDM平台登陆界面顾客名密码登陆后,可以看到如下的首页。系统管理界面在系统管理界面中,“顾客管理
14、”和“角色管理”中,可以定义角色（管理员、操作员等)、添加顾客、修改顾客密码等。此外，在“资源管理”页面中，可觉得每一种顾客指定容许安装的组件或者模块。组件安装界面在“组件安装”界面中,具有如下功能：基本信息配备（主机名映射）、Hdoop组件安装、Sprk组件安装、数据挖掘工具安装、集群监控及U安装。如下逐个进行简介。 基本信息配备基本信息配备,也即主机名映射,在初次安装Hdoo集群前需要配备各服务器的I地址与主机名的映射。点击“配备”按钮后，系统会在后台完毕如下配备。修改各服务器的主机名,完毕映射。完毕各服务器之间的S互信。完毕各服务器jav JDK环境配备。 Hdoop基本组件在Hdoop基本组件页面,可以点击各个adoop基本组件的图标,完毕相应组件的安装及配备。阐明：由于组件之间有互相依赖关系，因此,如果某个组件的前序依赖组件没有安装，系统会提示顾客安装前序依赖组件。 Spar基本组件安装在Sprk基本组件页面，可以点击Spr基本组件的图标，完毕Spark集群（涉及，SprQ,prktreaming,MlLi,GraphX）的安装及配备。数据挖掘工具安装在数据挖掘工具安装页面,可以点击各个数据挖掘工具的图标，完毕相应工具的安装及配备
