数据中心相关技术与应用(大数据相关)

《数据中心相关技术与应用(大数据相关)》由会员分享，可在线阅读，更多相关《数据中心相关技术与应用(大数据相关)（39页珍藏版）》请在金锄头文库上搜索。

1、红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑数据中心相关技术与应用2013-12-02红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑目录MPP数据库在数据中心的应用企业级数据中心定义数据中心中的大数据数据中心BI技术选型描述Hadoop在数据中心的应用数据中心ESB技术研究大数据技术与传统

2、数据中心的集成红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑传统的数据仓库的架构数据源抽取、转换、加载业务数据集市企业数据仓库ETL 元数据前端分析展现工具查询工具、应用红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑新一代数据中心定义p 企业数据中心是指建立在数据仓库与数据仓库之上的 决策分

3、析应用，应包括数据源、数据ETL、ODS数据 库、数据仓库、数据集市、商务智能应用、数据管理 等功能。 p 数据中心应该具备常见数据的处理与管理能力，具备 对结构化、半结构化、非结构化等数据的处理能力， 同时支持RDB、MPP、NoSQL，同时具备数据的通用 管理能力，以数据为中心进行平台建设。 p 数据中心数据平台在接口层要丰富又简单，可以提供 各种应用所需接口，最大程度匹配已有接口，对应用 改动需求力求最低。p 一个合理的数据平台，不能等同于Hadoop或者 其他某项单一技术建设；整体数据中心的建设， 从数据采集层、存储层、应用层都有完整的解决 方案，同时具备平台运维管理、接口管理、数据

4、管理功能； p 数据中心数据管理能力至少应包含：1.元数据管 理，2.数据质量管理，3.数据安全管理，4.数据 可视化管理，5.数据生命周期管理。 p 数据平台必须针对数据提供完整方案，同时兼顾 应用接口、其他平台接入，系统管理、系统调度 等功能。 p 任何一种单一技术都难以适应数据中心数据采 集、存储、处理和对外服务的需求，多种技术并 存才是发展趋势。RDB、MPP、Hadoop采集 处理层数据抽取/加载 /检查ETL调 度数据交 互、转 换数据 映射数据层 数据 存储数据 聚合 服务数据 处理 服务数据 查询 服务事件 通知 服务信息 子层KPI报表统一 视图知识 库接口层服务管 理资料类

5、数据 服务指标类 数据服 务配置类 数据服 务清单累数据 服务日志类 数据服 务OPEN API数据管理功能数据生命周 期管理数据可视化 管理数据质量管理 采集层数 据质量管 理数据质量 规则、知 识库 数据质量 稽核指标 运维数据安全管理4A认证隐私信息 保护权限管 控、审计 追踪元数据管理元数据获取 管理元数据存储 与模型管理元数据分 析、展现、 服务技术、业务 元数据管理OD W- RD BOD W- MP P分布式文件系统分布式关系数据库分 布 式 计 算数据分发同步处理用户管理权限管理备份与恢复日志管理设备监控指 标资源池指标数据库指标分布式系统 指标指标汇总存储管理资源池管理设备管

6、理作业调度管 理事件自动化规则配置执行引擎性能预警调度异常控 制北向接口管理数据采集接口 管理数据共享配置通用接口配置平台管理功能数据服务功能综 合 分 析 系 统A+ ABI S应 用无 线 网 优综 合 监 控 系 统信 令 监 测 系 统日 志 上 层 应 用其 他 应 用红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑新一代数据中心功能视图数据中心整体功能视图可以分为数据服务功能模块、平台管理功能模块，数据管理功能模块，共同数据中心 的

7、应用。采集 处理层数据抽取/加载/ 检查ETL调度数据交 互、转换数据映射数据层数据 存储数据聚 合服务数据处 理服务数据查 询服务数据集 市、 OLAP接口层服务管理资料类数据服 务指标类数 据服务配置类数 据服务清单累数据服 务日志类数 据服务OPEN API数据管理功能数据生命周期 管理数据可视化管 理数据质量管理采集层数据 质量管理数据质量规 则、知识库数据质量稽 核指标运维数据安全管理4A认证隐私信息保 护权限管控、 审计追踪元数据管理元数据获取管 理元数据存储与 模型管理元数据分析、 展现、服务技术、业务元 数据管理DW- RDBDW- MPP分布式文件系统非关系数据库分布式 计算

8、数据分发同步处理数据服务功能用户管理权限管理备份与恢复日志管理设备监控指标资源池指标数据库指标分布式系统指 标指标汇总存储管理资源池管理设备管理作业调度管理事件自动化规则配置执行引擎性能预警调度异常控制北向接口管理数据采集接口 管理 数据共享配置通用接口配置平台管理功能应用展示层企业数据中心元数据 获取采集层数据质 量定义、稽核存储库模 型定义采集 数据 分发红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑目录MPP数据库在数据中心的应用企业级

9、数据中心定义数据中心中的大数据数据中心BI技术选型描述Hadoop在数据中心的应用数据中心ESB技术研究大数据技术与传统数据中心的集成红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑数据中心引入大数据的意义与原则n随着半结构化、非结构化数据、互联网数据等新型数据源的引入以及分析需求对分析 深度和广度的增加，以移动运营商行业为例，越来越需要大数据。主要包括如下：1、数据规模方面：GPRS流量话单的条数和数据量已经超过了语音详单，而位置信令、Gn信

10、令、客服语音、 互联网外部数据等规模更大，且还处在不断增长的趋势。 2、数据类型方面：逐步从OLTP系统中获得的结构化数据，过渡到结构化数据和互联网网页、上网日志等非 结构化数据和半结构化数据共存。 3、对数据的使用方面：不仅有批量的数据加工和前台界面的访问，临时统计、数据挖掘等访问需求也逐步增 多。对历史明细数据的访问增多。对数据访问的及时性增强。 随着数据中心越来越具备大数据平台的特征，利用传统的单一数据仓库技术就难以满足高效低成本的需求， 需要引入相应的大数据技术。n新技术的引入不能影响原有的使用感知，需要按照分阶段逐步引入的方式。可以参考 如下的几个引入原则：1、先增量后存量。现有的数

11、据处理系统引入大数据处理技术，面临着模型改造、流程改造等一系列的问题， 可以首先在新上线应用引入大数据处理技术。 2、先边缘后核心。对于原有功能的迁移，可以先迁移非关键的应用。这些应用不涉及到关键生产任务，可以 忍受数据处理延迟和故障修复时间较高等可能出现的风险。 3、先简单后复杂。数据处理逻辑较简单的应用也可以首先尝试引入大数据处理技术，降低实施的复杂度，积 累运维经验。 通过在大数据处理技术的规划、实施及运维过程中积累经验及教训，不断提升和完善大数据技术的应用水平 ，逐步拓展大数据技术应用领域。红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗

12、第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑大数据在数据中心的应用场景n大数据技术可以应用在以下场景（包括但不限于）：1、原数据仓库底层结构化数据处理（ETL或ELT）。底层结构化数据处理计算任务重但复杂性不高，不涉及多 表关联，适合引入大数据技术实现高效低成本。例如：对运营商的清单（语音详单、GPRS清单、WLAN清单 等）的清洗、转换、汇总等。 2、半结构和非结构数据处理与分析。例如对上网日志、网络信令、客服语音等数据的处理和分析，这些数据 难以利用传统数据仓库技术进行处理和分析。 3、数据集市。地数据集市应用较为独立，且对可靠性

13、的要求并不是十分严格，适合作为引入大数据技术形成 资源池，以移动运营商为例，可实现各地市、各部门数据集市的云化、池化和虚拟化，最终实现资源动态调 配，达到高效低成本。 4、数据仓库数据分级存储。对低价值的细节数据以及长周期的历史数据（冷数据）访问频率较低，也能容忍 相对较长的响应时间，可以存储在成本更低的平台上。 5、数据挖掘。某些数据挖掘设计长周期的数据，计算时间很长（数天），占用很多数据仓库资源。还有一些 数据挖掘算法超出了关系代数计算范畴，需要抽取数据到独立的计算平台（例如SAS统计分析系统）中进行计 算。这些数据挖掘任务可以迁移到大数据平台之上进行计算。例如交往圈的计算，因其仅涉及单一

14、数据，但 数据量非常大，且需要多次迭代计算。 6、对外查询。数据中心不仅仅是数据处理，也需要将数据处理的结果对外提供查询，而这些查询一部分是海 量的OLAP性质的查询，另外还有一部分OLTP性质的查询，即数量众多但每次查询量较少的。比如数据中心 前端库、与生产系统互动的数据库以及提供流量详单查询的数据库。这些查询任务不能很好地运行在OLAP类 数据库之上，可以迁移到大数据平台上。 针对这些应用场景，可以看到，主要需要引入的是Hadoop和MPP技术，然后逐步考虑NoSQL、流计算和内存计 算等技术的引入。红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑

15、加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑Hadoop技术与MPP技术的比较HadoopMPP 传统数据仓库平台开放性高低低运维复杂度高，与运维人员能力相关中中扩展能力高中低拥有成本低中高系统和数据管理成本高中中应用开发维护成本高中中SQL支持低高高数据规模PB级别部分PBTB级别计算性能对非关系型操作效率高对关系型操作效率高对关系型操作效率中数据结构结构化、半结构化和非结构数据结构化数据结构化数据Hadoop 在处理非结构数据和半结构数据上具备优势，尤其适合海量数据批处理等应 用需求。当然随着Hadoop技术的成熟，基于Ha

16、doop的即席查询技术也逐渐崭露头 角。比如仿照Dremel的开源项目Apache Drill以及Cloudera Impala。 MPP适合替代现有关系数据结构下的大数据处理，具有较高的效率，但其在大规模集 群（超过100个节点）下的可用性还有待试点证实。 MPP数据库场景下经常需要扫描大量的数据，所以对磁盘存储系统的I/O性能要求非 常高，在测试和日常运行中，I/O多大情况下是瓶颈，这点与Hadoop平台可以明显区 分开来。红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16号华文细黑 第五级12号华文细黑目录MPP数据库在数据中心的应用企业级数据中心定义数据中心中的大数据数据中心BI技术规划选型Hadoop在数据中心的应用数据中心ESB技术研究大数据技术与传统数据中心的集成红色25绿色40蓝色80黑色淡色50%绿色RGB160绿色RGB200标题28号微软雅 黑加粗 第一级24号黑体 第二级22号华文细黑 第三级20号华文细黑 第四级16