《TipDM大数据云服务实验室建设》由会员分享，可在线阅读，更多相关《TipDM大数据云服务实验室建设（9页珍藏版）》请在金锄头文库上搜索。
1、 TipDM 大数据云服务实验室建 设 广州泰迪智能科技有限公司 2016 年 4 月 1 一 背景一 背景 1 1 1 1 大数据挖掘行业背景和发展趋势大数据挖掘行业背景和发展趋势 移动互联网 电子商务以及社交媒体的快速发展使得企业需要面临的数据量成 指数增长 根据 IDC 数字宇宙 Digital Universe 研究报告显示 2020 年全 球新建和复制的信息量已经超过 40ZB 是 2012 年的 12 倍 而中国的数据量则会 在 2020 年超过 8ZB 比 2012 年增长 22 倍 数据量的飞速增长带来了大数据技 术和服务市场的繁荣发展 IDC 亚太区 不含日本 最新关于大数据
2、和分析 BDA 领 域的市场研究表明 大数据技术和服务市场规模将会从 2012 年的 5 48 亿美元增 加到 2017 年的 23 8 亿美元 未来 5 年的复合增长率达到 34 1 该市场涵盖 了存储 服务器 网络 软件以及服务市场 数据量的增长是一种非线性的增长速 度 据 IDC 分析报道 最近一年来 亚太区出现了越来越广泛的大数据和分析领 域的应用案例 在中国 从互联网企业 到电信 金融 政府这样的传统行业 都 开始采用各种大数据和分析技术 开始了自己的大数据实践之旅 应用场景也在逐 渐拓展 从结构化数据的分析 发展到半结构化 非结构化数据的分析 尤其是社 交媒体信息分析受到用户的更多
3、关注 用户们开始评估以 Hadoop 数据库一体机 以及内存计算技术为代表的大数据相关新型技术 最新调研结果显示 提高竞争优势 降低成本以及吸引新的客户是中国用户对 大数据项目最期望的三大回报 目前现有的大数据项目主要集中在业务流程优化以 及提高客户满意度方面的应用 IDC 发现很多用户希望大数据能够为企业带来业务 创新 并且开始使用高级分析的解决以管理复杂的数据环境 过去一年中用户 对社交数据的收集和分析应用的关注度增加明显 未来 地理位置信息分析将会增 长迅速 这也会推动用户对大数据安全和隐私管理的关注 在亚太区 澳大利亚和 新加坡的用户对大数据的相关投资主要在咨询服务方面 更关注如何根据
4、新的最佳 实践需求设计和实施 中国和印度在大数据领域的硬件投资则非常明显 更倾 向于数据中心相关的基础架构的投资 在传统的数据分析与商业数据挖掘中 人们通常遵循二八原则 也就是任务 20 的用户提供了 80 的价值 因此利用优势资源用户对于少数用户的服务 随着 2 互联网的发展 越来越多的低价值用户进入到商业体系中 这部分用户成为商业企 业竞争的目标 比如电商行业 大量顾客都是传统意义上的低价值客户 数据表明 对于这部分用户价值的挖掘可以改变二八原则 甚至可达到价值的几乎均匀分布 并且由于计算技术的发展 对于大数据的分析也成为了可能 1 21 2 大数据大数据挖掘实验室建设的必要性挖掘实验室建
5、设的必要性 数据挖掘与大数据分析是以计算机基础为基础 以挖掘算法为核心 紧密面向 行业应用的一门综合性学科 其主要技术涉及概率论与数理统计 数据挖掘 算法 与数据结构 计算机网络 并行计算等多个专业方向 因此该学科对于实验室具有 较高的专业要求 实验室不仅要提供基础的开发环境 还要提供大数据的运算环境 以及用于实验的实战大数据案例 这些实验素材的准备均需专业的大数据实验室作 为支撑 目前 在我国高校的专业设置上与数据挖掘与大数据分析实验相关的学 科专业包括 计算机科学与技术 信息管理与信息系统 统计学 经济 金融 贸 易 生物信息以及公共卫生等 这些专业的学生需要分别从原理 技术与应用等不 同
6、的角度掌握大数据分析的理论与分析方法 学生要很好地掌握这些课程 除了课 堂学习 通过实验来加深理解和提高实际应用操作能力也是主要途径 调查表明 数据挖掘与大数据分析实验所需要的算法 计算环境以及数据等 都无法在我国高 校现有的实验室中完成 因此 建设专门的数据挖掘与大数据分析实验室就显得非 常重要 二二 实验室设计理念实验室设计理念 数据挖掘与大数据分析实验室的设计全面落实 产 学 研 一体化的思想和 模式 从教学 实践 科研和使用多方面注重专业人才和特色人才的培养 本实验室建设融合数据挖掘与大数据分析专业教学 实训 实战等各层次 实践教学 能够从面向大数据分析行业需求和促进学生职业发展的角度
7、规划和建设 数据挖掘与大数据分析实验室 真正在产业 学校 科研及实际项目中相互配合 发挥优势 形成生产 学习 科学研究 实践运用的系统运作模式 从而建设大数 据挖掘特色专业 将云存储资源 服务器资源和网络资源整合 然后通过 Vmware 等虚拟化搭建 3 私有云平台 在私有云平台上搭建统一的数据挖掘平台和基于 Hadoop 的大数据分 析平台 大数据分析教学平台的建设能让学生既掌握必要的理论基础 又能将大数据分 析理论和方法用于解决实际问题 该大数据教学平台也能解决教学过程中实验环节 非常薄弱 造成学生缺少数据挖掘实践经验 缺乏实践应用能力等问题 基于 Hadoop 实战项目 在大数据实战环境
8、中 通过动手实操 让学员在短时间内掌握使用平台 开发 Hadoop 程序 以完成高效的大数据存储 清洗和分析 同时 通过专业的大 数据分析计算资源搭建的开放式大数据分析平台 可以充分的融合教师的科研需 求 教师可以在开放的平台环境下开展大数据科研工作 提升教师的科研创新能力 充分提高 研 的成效 三三 实验室建设实验室建设 实验室建设包括实验室硬件设备 大数据挖掘案例沙盘模型 大数据挖掘平台 以及相关案例资料 该实验室按照数据挖掘 大数据平台与算法 行业实战数据分析三个层次 来搭建 通过典型的算法展示 算法实现结合大数据分析的应用场景与案例对学生 进行数据分析方面的综合训练 从而实现专业实验教
9、学的由点及面 理论到应用 涵盖原理验证 综合应用 自主设计及创新的多层次实验体系 1 基础环境建设 包括学生电脑 服务器资源以及投影等整套实验室设备 详见详见商务报价商务报价 2 顶尖数据挖掘教学沙盘 TipDM SP 包括智能交通仿真沙盘 窃漏电用户自动识别模拟沙盘 管网漏损自动分析 模拟沙盘 菜品推荐 PAD 四个沙盘模型 详见顶尖数据挖掘教学沙盘 详见顶尖数据挖掘教学沙盘 TipDMTipDM SPSP 产品白皮书产品白皮书 3 顶尖数据整合工具 TipDM I2 简称 I2 以 ODS DW 的实施过程为基础 工具平台集成了十多年在 BI 行业 ETL 领域的 实施经验与深厚的积累 尤
10、其是在 ETL 领域的数据整合和优化方面的丰富经验 4 从实施的角度对实施流程的规范化 实施过程工具化 减少人为的出错因素 进一 步提高了系统的可维护性 不需维护系统中的代码 只需维护映射规则文档 平台 各个工具组件可以单独进行使用 但是也可以相互结合 从而进一步提高开发效率 使开发过程并行化 详见顶尖数据整合工具 详见顶尖数据整合工具 TipDMTipDM I2I2 产品白皮书 产品白皮书 4 顶尖数据挖掘教学实训平台 TipDM T6 简称 T6 顶尖数据挖掘辅助教学套件 TipDM T6 简称 T6 是专门针对高校数据挖掘课 程教学的实际情况 针对实践环节薄弱 学员实际应用能力差这一教学
11、弱点设计开 发的一系列教学组件 能够让老师在讲解数据挖掘算法理论的同时 通过实用的建 模工具来模拟实际应用案例 在实验室环境下体验实际应用 由此弥补学员实践经 验的不足 在教学过程中 强化应用和实验 做到理论与实践的有机结合 使学生 受益 老师授课方便 详见详见顶尖数据挖掘教学实训平台顶尖数据挖掘教学实训平台 TipDMTipDM T6T6 产品白皮书 产品白皮书 5 顶尖大数据工程教学实训平台 TipDM H8 简称 H8 顶尖大数据工程实训平台又称大数据挖掘实战中心 TipDM H8 简称 H8 将 云存储资源 服务器资源和网络资源整合 然后通过 Vmware 等虚拟化 搭建私有云 平台
12、在私有云平台上搭建统一的数据挖掘平台和基于 Hadoop 的大数据分析平台 大数据工程实训平台的建设能让学生既掌握必要的理论基础 又能将大数据分 析理论和方法用于解决实际问题 该大数据教学平台也能解决教学过程中实验环节 非常薄弱 造成学生缺少数据挖掘实践经验 缺乏实践应用能力等问题 基于 Hadoop 实战项目 在大数据实战环境中 通过动手实操 让学员在短时间内掌握使用平台 开发 Hadoop 程序 以完成高效的大数据存储 清洗和分析 详见详见顶尖顶尖大数据工程大数据工程 实训平台实训平台 TiTipDMpDM H8H8 产品白皮书 产品白皮书 四 实践教学应用实践教学应用 下面以韩山师范学院
13、使用 H8 套件为例 介绍泰迪大数据实验室在高校教学实 践中的应用 4 4 1 1 课程安排课程安排 韩山师范学院 于 2014 年在应用数学及统计学中联合广州泰迪智能科技有限 5 公司给学生加入大数据挖掘相关课程的学习 引入泰迪科技的 H8 套件 大数据建模与挖掘课程安排如下 课时安排 35 学时理论教学 35 学时随堂实验 5 天项目实训 理论学时及 案例实验由高校老师授课 项目实训由公司指派大数据分析工程到学校进行统一指 导 学生人数 48 人 教师 1 人 负责理论课的教授 助教 1 人 负责实验课的辅导 使用教材 hadoop 大数据分析与挖掘实战 考核指标 模块 评分标准 占比 随
14、堂实验 掌握大数据挖掘基本工作的应用 并且在完 成相关理论知识的学习之后 对课堂讲授的5 个项目案例 利用教材中配套的原始数据 通 过大数据挖掘开发实训平台完成模型的构建 并且对相对应的模型进行分析 40 项目实训 针对一个类似的课堂授课案例 利用大数据 挖掘开发实训平台 选择合适的模型对数据进 行建模 并完成一份分析报告 报告主要从思 路清晰程度 正确分析和理解相关领域背景问 题 正确合理地使用模型 算法 客观地评价 所得的建模结果 创新性等方面进行评价 40 平时考核 从学生课程及实训时的表现 教师给出的平 时成绩 20 注 课程安排由泰迪科技专家组与韩山师范学院教师代表一起探讨制定 并且
15、 为理论课上课老师提供企业应用案例培训 如有需要 理论课的教学也可以由公司 安排 6 4 4 2 2 平台引入平台引入 学校使用广州泰迪智能科技有限公司 H8 套件进行学生的实践教学 搭建大数 据实验室 大数据挖掘建模平台 大数据开发实训平台 在该实验室内进行程案 例实验教学及后期实训工作 4 4 3 3 随堂实验随堂实验 在实际的教学中 在完成基础工具的实验任务之后 任课老师还可以将书中案 例分别给学生做教学演示并且让学生动手实际操作 完成案例中的一部分内容 H8 套件中附带有所有案例的源数据 过程数据以及 Hadoop 环境下程序 模型 解决了 在教学中没有相关数据来源以及真实程序 模型的
16、难题 学生通过多次试验 对所 学理论知识及相关工具有了直观的理解 并且亲自动手得出的实验结果也让学生对 理论教学产生了更加浓厚的兴趣 达到教学上良性循环的目的 4 4 4 4 项目实训项目实训 在完成70课时的理论加实验课时之后 由泰迪科技指派资深工程师到学校指导 学生进行为期5天的全真项目案例实训 学生自由组队 共分为8个小组 选取 航空公司客户价值分析 作为实训题 目进行完整的项目实训 要求 利用从航空公司取得的原始数据 通过大数据挖掘开发实训平台完成基 于分布式聚类算法的客户分群 同时基于分群结果对航空公司的客户价值进行分 析 并且能够解释模型反映的业务指标 对航空公司接下来的精准营销提出建设性 的意见 在通过的 8 个小组作业中 经过工程师的评估 有 2 份作业可以达到企业初步 应用级别 这 2 份作业的完成者也获得了直接进入泰迪科技实习的机会 在实习中 进一步学习大数据挖掘在企业项目中的应用 4 4 5 5 使用反馈使用反馈 在学校的角度 1 合格的教师团队 H8 的引入帮助高校培养起专业的师资团队 经过实践 7 能够很好的胜任所安排课程的教学工作 2 专
