明略数据MDP2.0 白皮书

《明略数据MDP2.0 白皮书》由会员分享，可在线阅读，更多相关《明略数据MDP2.0 白皮书（18页珍藏版）》请在金锄头文库上搜索。

1、 北京明略软件系统 有限 公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码： 102218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010-56842040 H. MDP： Mininglamp Data Platform 产品 白皮书 基于 Apache Hadoop 的大数据平台，专注于安全、可靠、易用、开放的企业

2、级需求 明略数据 2015/10/1 北京明略软件系统 有限 公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码： 102218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010-56842040 H. MDP Introduction 图 1 MDP 架构图 Mininglamp Data Platform (MDP)是

3、明略数据基于 Apache Hadoop 研发的大数据平台。 MDP 不仅提供海量数据存储和多种高性能计算框架，还为保护平台上的数据和服务提供了完整的安全保障体系、图形化的平 台管理和作业、统一的身份认证和权限管理、细粒度的权限控制以及 实时 增量数据同步工具。 除了 Hadoop 组件 外， MDP 集成 了 明略 自有组件包含 ： 统一集群与服务管理 NoahArk 统一身份与授权管理 组件 Access 统一数据作业平台 DataOne 细粒度的跨引擎 SQL 权限控制 组件 ACRE 实时增量关系数据库同步 工具 INCR MDP 包含了 十六种 Hadoop 社区最常用 的 组件 ，

4、 可以支撑 多种计算类型的应用的混合负载， 例如 批处理应用、 交互式 查询、 高频读写 、 全文 检索、 数据 挖掘和实时流计算等多种 计算 北京明略软件系统 有限 公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码： 102218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010-56842040 H. 类型 。 各行

5、 各业 可 基于这些计算手段和方式 进行上层 应用的建设。 图 2 MDP 支持混合业务负载 统一集群与服务管理 NoahArk NoahArk（ 诺亚 方舟 ） 是明略 自主研发的企业级 Hadoop管理系统。 NoahArk为 MDP提供 可视化的集群 管理 支持 ，帮助管理员提高运维效率、保证服务质量、优化集群性能、减少管理成本。 NoahArk的 主要功能包含仪表盘、机器管理、 服务 管理、调度器配置、 安全 审计、安全 管理 等 功能模块。 NoahArk的 特点： 极速部署 NoahArk系统针对 hadoop生态系统中常用服务组合，提供简洁的整体安装方案，达到 1小时内构建整个数

6、据平台的急速部署。 精简操作 NoahArk的设计目标是在任何规模，都能简单和明确的管理企业数据平台；用户可以集中地部署和管理整个集群。 NoahArk重点优化集群管理的常用操作，力求一键式管理；并支持扩展非常用操作。 便捷扩展 NoahArk不仅能便捷横向扩展节点，也可以扩展符合标准的服务；使企业一站式管理集群上的全部服 北京明略软件系统 有限 公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码： 102218 F4, 1#, Zhongmei Construction Group Pl

7、aza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010-56842040 H. 务，包括 hadoop生态系统中的组件和其他业务组件 。 安全生产 NoahArk为大数据平台提供最高级别的保障，实时监控硬件、系统、数据平台、在线服务等各个部分，发现故障第一时间报警；同时 ， NoahArk还 具备安全审计的功能，可对用户访问服务和数据的行为进行审计。 全面管理 NoahArk系统实现了所见即所得的效果，提供了统一的机器和服务的安装部署、实时监控、运维管理、日志汇总等功能，并提供可视化、易用性界面，满足运维管

8、理人员针对集群机器、服务及组件的统一运维管理需求；统一集中式管理使得集群部署和运维操作更加快速、规范，监控报警更加实时有效；统一的日志管理方便更加快速定位、解决集群中存在的问题。 丰富 API NoahArk系统提供了丰富的 API接口，允许运维管理人员以及其它有需求的业务部门通过对 API的调用即可方便的进行集群的资源管理和监控报警等信息的获取 统一身份与授权管理 Access Access 是 MDP 中 负责账号和权限管理的 组件 。 它 主要由 以下 特点： 基于 LDAP的独立身份系统 Access使用 LDAP存储 平台 上 的用户身份信息， 并支持 与企业原有的 用户体系 对接。

9、 基于 Kerberos的安全身份认证 Access集成 了 Kerberos作为 MDP的 安全身份认证体系， 支持 单点登录。 北京明略软件系统 有限 公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码： 102218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010-56842040 H. 功能级别的服务授权管理 A

10、ccess支持 HDFS、 YARN、 HBase、 Oozie等关键组件的服务 授权 功能， 能够 细粒度的限制用户使用服务的不同功能。 细粒度的数据授权（通过 ACRE） Access基于 ACRE提供 了 MDP上 细粒度的数据 授权 功能， 能够 对平台上的数据访问提供行 访问 权限控制以及列访问 权限 控制。 图 3 Access 平台用户管理 统一数据作业平台 DataOne DataOne,是明略数据结合自己多年的大数据技术使用经验，考虑企业传统 IT技术人才的 北京明略软件系统 有限 公司 MiningLamp Software System Co., Ltd. A. 北京市昌

11、平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码： 102218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010-56842040 H. 技术特点，为降低大数据实施成本，加速大数据落地，简化用户操作，优化用户体验而开发的统一大数据存储和处理的作业平台。 DataOne是基于明略 Hadoop大数据平台的全链路数据集成、存储管理、处理分析的大数据作业平台。其中主要包含了数据集成、数据处理、数据作业、数据查询等模块

12、，通过全界面的方式提供给用户使用。 DataOne 其突出的极大特点是： 1. 使用大数据平台连接传统数据平台成本低，速度快 2. 完成数据的全生命周期管理 3. 操作容易方便 图 4 DataOne 产品结构图 细粒度的跨引擎 SQL 权限控制 ACRE ACRE 是 MDP 独有 的 在 Hive、 Impala、 Spark SQL 上支持行列（ Cell）级别访问控制的数据权限管理 组件。 北京明略软件系统 有限 公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码： 102218

13、F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010-56842040 H. ACRE 有以下 特点： 支持基于 角色 的授权模型 ACRE中 支持建立角色，且 ACRE中 的权限是赋予在角色上的。 管理员 可将角色授予不同的用户组， 则用户组中的用户就有了角色上所赋予的权限。 支持 Hive、 Impala、 Spark的统一授权管理 ACRE是 平台级的跨引擎的 数据 权限管理组件， MDP上 的 Hive、 Impala、

14、Spark SQL三种引擎， 均 可以通过 ACRE进行 权限控制。 支持行列（ Cell）基本访问控制 ACRE提供 了细粒度的权限控制机制，管理员可以给 角色 赋予 行 权限和列权限， 以 控制用户在不同表内部的数据访问范围和访问方式。 基于访问过滤的实现无需修改原数据库 /表结构 ACRE提供 的是插件式的 访问 控制 机制 ， ACRE通过对访问 SQL进行 检查和过滤来 发生 作用， 并 不会 对数据进行任何的修改 。 实时增量关系数据库同步 INCR INCR 独创性的搭建了传统关系型数据库到大数据平台的高速公路，让所有传统应用软件所产生的数据流实时、增量的同步到大数据平台，参与数

15、据关联和实现真正意义上的实时数据分析。 北京明略软件系统 有限 公司 MiningLamp Software System Co., Ltd. A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码： 102218 F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing T. 010-8423389 F. 010-56842040 H. 图 5 INCR 的特点 INCR 支持 全量同步、 实时 增量同步、 监控 与 报警 、高性能等特点。 同时 ， INCR 也 具有非常好的 可扩展性 ， 可以 通过 横向 扩展来 支持 多 个 数据源的同步 。 MDP 之 安全 性 安全是 MDP 最 关注的 企业级 需求， MDP 提供 了 网络安全 、 主机 安全、 服务 安全、 数据安全四层安全 机制 来保障 整个 平台的安全。 图 6 MDP 的四层安全保障 北京明略软件系统 有限 公司 M