《顶尖大数据工程教学实训平台(tipdm-h8)产品白皮书v30》由会员分享，可在线阅读，更多相关《顶尖大数据工程教学实训平台(tipdm-h8)产品白皮书v30（18页珍藏版）》请在金锄头文库上搜索。
1、泰迪科技(), 20052016 1 顶尖大数据工程教学实训平台顶尖大数据工程教学实训平台 (TipDM-H8) 产 品 说 明 书 广州泰迪智能科技广州泰迪智能科技有限公司有限公司 版权所有版权所有 地址： 广州市经济技术开发区科学城 232 号 网址： http:/ 邮箱： 热线： 40068-40020 企业 QQ：40068-40020 邮编： 510663 电话： （020）82039399 泰迪科技(), 20052016 2 目 录 1 产品简介 . 3 2 产品构成 . 5 2.1 大数据挖掘建模平台 . 5 2.2 大数据开发实训平台 . 7 2.3 大数据分析教学实训教程
2、 . 8 2.4 大数据分析教学案例库 . 10 2.5 大数据分析案例配套资源 . 10 2.6 大数据分析教学 PPT 及微课视频 10 2.7 课程规划及师资培训 . 12 2.8 学生实习实训 . 13 3 应用案例 . 15 3.1 主要客户 . 15 3.2 典型示例 . 15 3.2.1 设备清单 . 15 3.2.2 环境部署 . 15 3.3 虚拟机资源 . 16 3.3.1 硬件配置及软件部署 . 17 泰迪科技(), 20052016 3 1 1 产品简介产品简介 大数据的出现催生出产业人才缺口瓶颈，在大数据挖掘项目的实施方面，被调查公司普遍缺乏 相关的技术能力。 75%
3、以上的公司表示在人员和培训方面存在障碍， 会大数据挖掘技术的人才很热门， 但是比较难找而且昂贵，会 Hadoop 技术的数据挖掘人才更是奇缺。 虽然大数据目前在国内还处于初级阶段，但是其商业价值已经显现出来，特别是有实践经验的 大数据分析人才更是各企业争夺的热门。为了满足日益增长的大数据分析人才需求，很多大学开始 尝试开设不同程度的大数据分析课程。 “大数据分析”作为大数据时代的核心技术，必将成为高校数 学与统计学专业的重要课程之一。 目前高校大数据教学的主要困境： 教师资源严重不足 尚未建立起合理的大数据教学体系 实践教学平台搭建困难 大数据实践应用案例缺乏 学生缺少实战机会 大数据工程教学
4、实训平台又称大数据挖掘实战中心（TipDM-H8，简称H8） ，将云存储资源、服务 器资源和网络资源整合， 然后通过Vmware等虚拟化 搭建私有云平台， 在私有云平台上搭建统一的数 据挖掘平台和基于Hadoop的大数据分析平台。 大数据工程教学实训平台的建设能让学生既掌握必要的理论基础，又能将大数据分析理论和方 法用于解决实际问题。该大数据教学平台也能解决教学过程中实验环节非常薄弱，造成学生缺少数 据挖掘实践经验、缺乏实践应用能力等问题。基于Hadoop实战项目，在大数据实战环境中，通过动 手实操，让学员在短时间内掌握使用平台开发Hadoop程序，以完成高效的大数据存储、清洗和分析。 大数据
5、工程教学实训平台的建设采用四层架构，其整体架构如下图所示。 泰迪科技(), 20052016 4 大数据工程教学实训平台 大数据挖掘建模平台 （TipDM-HB，无编程经验） 大数据开发实训平台 （TipDM-HD，需编程基础） 虚拟化层（VMWare、Hyper-v或KVM等） 云基础设备层（服务器、云存储、网络等） 大数据工程教学实训平台底层数据处理平台采用云计算技术实现，基于云计算的基础设施层能 充分保障资源的有效利用率和资源的动态伸缩性， 云基础设施层上搭建了基于VMware、 Hyper-v或KVM 等的虚拟化层，该虚拟化层能充分保证业务的连续性和平台运行的可靠性。建立在虚拟化层上的
6、统 一数据挖掘平台TipDM-HB 能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析， 而基 于Hadoop 的大数据开发平台（TipDM-HD）能为大数据算法分析和大数据处理提供基础平台。位于架 构最上层的大数据工程教学实训平台为培养大数据时代的数据科学家提供实训平台。 适用对象适用对象: : 有大数据分析课程教学的高校、研究所和培训机构 用大数据分析进行科研的高校、研究所 特别说明特别说明：泰迪科技作为目前国内唯一Hortonworks官方同时认证的培训和系统集成签约合作 伙伴，有多年的Hadoop开发及大数据分析和挖掘实战经验。TipDM团队的讲师均获得Hortonworks专
7、 业讲师资格认证。 所有教材均由Hortonworks官方授权提供， 课程涵盖Hadoop生态系统中所有常用组 件，与美国Hortonworks College 保持同步，是进行Hortonworks Hadoop认证考试的唯一官方教程。 建议建议：如果采用泰迪科技提供的大数据工程教学实训平台建设方案，泰迪科技将派出讲师对实 战中心技术人员进行专业培训（或直接派讲师进行授课） ，课程结束后，学员可直接参加认证考试！ 泰迪科技(), 20052016 5 2 2 产品产品组件组件 H8主要可包含以下8个组件： 核心组件： 大数据挖掘建模平台（云数据挖掘引擎；云数据挖掘算法库；主机监控系统；云平台
8、监控 系统） 大数据开发实训平台（基于VMware、Hyper-v或KVM等虚拟化的Hadoop开发实训平台） 可选组件： 大数据分析教学实训教程（ Hadoop大数据分析与挖掘实战 ） 大数据分析教学案例库（所有案例均来自企业在大数据挖掘领域的典型应用） 大数据分析案例配套资源（源数据及过程数据，Hadoop环境下程序/模型）及大数据分析教 学PPT及微课视频（理论、工具及案例） 数据挖掘教学沙盘（智能交通仿真沙盘、管网漏损自动分析模型沙盘、窃漏电用户自动识 别模拟沙盘、餐饮智能服务平台） 课程规划及师资培训：协助完成课程设置及教学规划，并为数据挖掘课程教学提供师资培 训 学生实习实训：提供
9、数据挖掘实践项目，组织学生参与公司的项目实习及集中实训 2.12.1 大数据大数据挖掘建模挖掘建模平台平台 HB是一套基于Hadoop架构的大数据挖掘建模平台，能满足有大数据挖掘需求的师生利用图形化 的界面进行大数据分析。 HB主要主要包括：云数据挖掘引擎、调度系统、主机监控系统、云平台监控系统、云数据挖掘 算法库等，具体如下表： 功能功能 模块模块 说明说明 云数据挖掘引擎 挖掘引擎 云分类引擎、云聚类引擎、云关联规则引擎、云智能推荐 引擎等 调度系统 包括作业调度、作业监控和作业管理 主机监控系统 主要用来采集集群中主机的 cpu、 memory、 disk、 process、 netwo
10、rk 等相关数据，并采用图形化的方式展示 云平台监控系统 主要用来监控云计算平台的运行指标， 可以实时监控云平 台的运行情况，子节点运行情况，用来为系统增加/删除/ 更新节点提供知道依据。它主要包括：1）分布式文件系 统监控；2）作业监控；3）云平台管理等功能 泰迪科技(), 20052016 6 云数据挖掘算法 库 分类算法 基于并行计算的分类算法，如： 1、朴素贝叶斯、贝叶斯网络 2、随机森林 3、神经网络 4、模糊神经网络 5、支持向量机 聚类算法 基于并行计算的聚类算法，如： 1、K-Means 算法 2、Canopy 算法 3、Fuzzy K-Means 算法 4、Mean Shif
11、t 算法 关联规则 基于并行计算的关联规则算法，如： 1、二项集关联规则 2、推荐器算法 智能推荐 基于并行计算的智能推荐算法，如： 1、基于用户的协同过滤算法 2、基于内容的协同过滤算法 运行界面： 泰迪科技(), 20052016 7 2.22.2 大数据开发实训平台大数据开发实训平台 HD是一套建立在虚拟化层上的大数据开发平台，提供了一个开放、稳定和高度可扩展的框架， 集成有Apache Hadoop的数据流业务与现有的数据架构。基于此平台，学员能在极短的时间内快速掌 握各种Apache Hadoop项目以及Hadoop分布式文件系统（HDFS） 、MapReduce、Pig、Hive、
12、HBase、 泰迪科技(), 20052016 8 Zookeeper和其他各种组件的使用方法，并真正完成基于Hadoop框架的大数据应用开发。 2.32.3 大大数据数据分析分析教学实训教程教学实训教程 结合课程教学需要，H8提供Hadoop大数据分析与挖掘实战辅助教学教程，方便教师授课和 学生学习。 Hadoop大数据分析与挖掘实战主要包括两部分：大数据基础理论和大数据挖掘案例分析。 大数据基础理论主要包括常用算法、工具、Hadoop原理及开发；大数据挖掘案例分析详尽介绍10个 经典的大数据应用案例，每个案例分别由挖掘目标的提出、分析方法与过程、建模仿真、结果评价 和动手实践等部分构成，如
13、下图示： 泰迪科技(), 20052016 9 泰迪科技(), 20052016 10 2.42.4 大大数据数据分析分析教学教学案例库案例库 大数据分析教学案例库是泰迪科技在数据挖掘领域探索10余年和高校资深讲师联合经验总结之 作，内容涵盖电信、电力、制造、互联网、银行、水产、税务等诸多行业。实践演练环境包括：R、 Mahout、Hadoop、TipDM-HB 。 精选大数据挖掘案例包括为： 基于大数据的餐饮智能服务平台 基于协同过滤的互联网电影智能推荐 航空公司客户数据挖掘分析 基于电商平台家电设备评论信息挖掘 面向网络舆情的关联度分析 家用电器用户行为分析及事件识别 基于基站定位数据的商
14、圈分析 气象与电力输电线路缺陷关联分析 基于关联规则的电子商务智能推荐服务 2.52.5 大数据大数据分析分析案例配套资源案例配套资源 案例配套资源包括：源数据及过程数据，Hadoop环境下的程序/模型。 2.62.6 大大数据数据分析分析教学教学 PPTPPT 及微课视频及微课视频 泰迪科技(), 20052016 11 结合课程教学需要，大数据工程教学实训平台(TipDM-H8)同时提供配套的教学用PPT： 泰迪科技(), 20052016 12 2.72.7 课程规划及师资培训课程规划及师资培训 为适应大数据时代及数据挖掘实践教学需求，泰迪科技可参与到高校教师队伍建设，协助完成 课程设置
15、及教学规划，并为数据挖掘课程教学提供一对一的师资培训，培训主要包括：大数据挖掘 案例培训；基于Hadoop框架的大数据开发培训。 基于Hadoop框架的大数据开发培训使用TipDM提供的培训资料，帮助开发者了解HDP平台，理解 开发Hadoop程序的基本原理，最后可以使培训者能自主开发Hadoop程序，同时进行培训后，学员可 以有更大的机会通过HortonWorks培训师认证，其认证在业界是比较有含金量的。 课程安排内容如下： 大纲大纲 课程课程 Hadoop基础 培训准备：环境配置 单元1：理解Hadoop2.0和HDFS 单元2：开发MapReduce程序 Hadoop进阶 单元3：Map端流程聚合 单元4：分区和排序 Hadoop进阶 单元5：Hadoop输入输出格式 单元6：优化MapReduce任务 单元7：高级MapReduce特性 Hadoop应用 单元8：Hadoop单元测试编程 泰迪科技(), 20052016 13 单元9：HBase编程 单元10：Pig编程 Hadoop应用 单元11：Hive编程 附录A：Oozie工作流 其他： 交流 与课程相关的
