《华为fusionnsight产品概述》由会员分享，可在线阅读，更多相关《华为fusionnsight产品概述（105页珍藏版）》请在金锄头文库上搜索。
1、 资料编码资料编码 华为华为 FusionInsight 2.3 产品概述产品概述 文档版本文档版本 02 发布日期发布日期 2015-04-02 华为技术有限公司华为技术有限公司 文档版本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 i 版权所有版权所有 华为技术有限公司华为技术有限公司 2015。 保留一切权利。保留一切权利。 非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传 播。 商标声明商标声明 和其他华为商标均为华为技术有限公司的商标。 本文档提及的其他所有商标或注册商标，由各自的所有人拥有。 注意注意
2、 您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务 或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示 的声明或保证。 由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本 文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。 华为技术有限公司 地址： 深圳市龙岗区坂田华为总部办公楼 邮编：518129 网址： http:/ 华为 FusionInsight 2.3 产品概述 前 言 文档版本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为
3、技术有限公司 ii 前前 言言 概述 本文档简要介绍了 FusionInsight 的产品介绍、系统架构介绍、部署方案、企业级增强特 性介绍、系统规格等信息。 读者对象 本文档专供需要了解和使用 FusionInsight 软件的用户使用。 本文档的目标读者为： 规划工程师 运维工程师 符号约定 在本文中可能出现下列标志，它们所代表的含义如下。 符号 说明 以本标志开始的文本表示有高度潜在危险，如果不能 避免，会导致人员死亡或严重伤害。 以本标志开始的文本表示有中度或低度潜在危险，如 果不能避免，可能导致人员轻微或中等伤害。 以本标志开始的文本表示有潜在风险，如果忽视这些 文本，可能导致设备损
4、坏、数据丢失、设备性能降低 或不可预知的结果。 以本标志开始的文本能帮助您解决某个问题或节省 您的时间。 以本标志开始的文本是正文的附加信息，是对正文的 强调和补充。 华为 FusionInsight 2.3 产品概述 前 言 文档版本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 iii 修订记录 修改记录累积了每次文档更新的说明。 最新版本的文档包含以前所有文档版本的更新内 容。 文档版本 02 (2015-04-02) 第二次发布。 文档版本 01 (2014-12-25) 第一次发布。 华为 FusionInsight 2.3 产品概述 目 录 文档版
5、本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 iv 目目 录录 前前 言言 . ii 1 概述概述 1 1.1 背景简介 . 1 1.2 产品定位 . 2 1.3 核心价值 . 2 1.4 产品亮点 . 3 2 典型应用场景典型应用场景 5 2.1 金融领域 . 5 2.2 运营商领域 6 3 系统架构系统架构 8 3.1 逻辑结构 . 8 3.2 对外接口 . 9 3.3 组件介绍 10 3.3.1 Manager 10 3.3.2 HBase .14 3.3.3 HDFS 22 3.3.4 YARN .30 3.3.5 MapReduce .36 3.
6、3.6 Spark .38 3.3.7 ZooKeeper.49 3.3.8 Hive 53 3.3.9 FTPServer .58 3.3.10 Loader .61 3.3.11 Flume 65 3.3.12 MetaData .69 3.3.13 Hue .71 4 企业级增强特性企业级增强特性. 74 4.1 Manager 增强特性 .74 4.2 HBase 增强特性 76 4.3 HDFS 增强特性 .79 华为 FusionInsight 2.3 产品概述 目 录 文档版本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 v 4.4 YARN
7、增强特性 83 4.5 Hive 增强特性 .85 4.6 FTPServer 增强特性 87 4.7 Loader 增强特性87 4.8 Flume 增强特性 .88 4.9 安全增强 88 4.10 可靠性增强 .90 5 部署方案部署方案 92 5.1 组网方案 92 5.2 硬件及运行环境要求 .94 5.3 软件部署方案 .95 6 系统规格系统规格 99 华为 FusionInsight 2.3 产品概述 1 概述 文档版本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 1 1 概述概述 关于本章 1.1 背景简介 1.2 产品定位 1.3 核心价
8、值 1.4 产品亮点 1.1 背景简介 企业面临的挑战 互联网时代，企业数据量的持续增加与其显现的价值不成正比。 每时每刻，企业内 IT 系统都在产生各种各样的数据；分分秒秒，互联网上浪涌般的信 息将一个个企业淹没或推高。面对这些持续激增的海量数据信息，现今大部分企业所能 做的也只是被动的将数据短暂存储，已使用近 30 年的企业传统数据处理架构对这些海 量信息几乎无能为力。 如何让这些复杂无序的数据产生价值、而不是空耗成本，如何让企业轻松驾驭这些海量 数据信息来创新、快速洞察商机，这是现今企业的迫切需求。 华为的解决方案 华为 FusionInsight 基于开源社区软件 Hadoop 进行功
9、能增强，提供企业级大数据存储、 查询和分析的统一平台，帮助企业快速构建海量数据信息处理系统。通过对各类海量数 据信息进行实时和非实时的分析和挖掘， 帮助企业从海量数据信息中获取到真正的价值， 及时洞察和决策新的机会与风险。 FusionInsight 是完全开放的大数据平台，可运行在任意标准的 x86 服务器上，无需任何 专用的硬件或存储。FusionInsight 针对金融、运营商等数据密集型行业的运行维护、应 用开发等需求打造了高可靠、高安全、易使用的运行维护系统和全量数据建模中间件， 让企业可以更快、更准、更稳的从各类繁杂无序的海量数据中发现价值。 华为 FusionInsight 2.
10、3 产品概述 1 概述 文档版本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 2 1.2 产品定位 华为 FusionInsight 是一个分布式数据处理系统，对外提供大容量的数据存储、查询和分 析能力，可解决各大企业的以下需求： 快速地整合和管理不同类型的大容量数据 对原生形式的信息提供高级分析 可视化所有的可用数据，供特殊分析使用 为构建新的分析应用程序提供了开发环境 工作负荷的优化和调度 图1-1 产品定位 1.3 核心价值 FusionInsight 系统的核心价值在于： 海量 可处理结构化和非结构化的数据，数据处理能力在 PB 级以上，远超过传统数
11、据库的处 理能力。 线性扩展 不论是存储还是计算能力，都可以简单地通过增加节点来完成，不需修改系统架构，运 维成本低。 经济 可以运行在任何普通的 X86 服务器上，硬件成本低。 可靠 华为 FusionInsight 2.3 产品概述 1 概述 文档版本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 3 分布式文件系统的备份恢复机制以及 MapReduce 的任务监控保证了分布式处理的可靠 性。 高效 分布式文件系统的高效数据交互实现以及 MapReduce 结合 Local Data 处理的模式， 为高 效处理海量的信息作了基础准备。 1.4 产品亮点 华
12、为 FusionInsight 发行版紧随开源社区的最新技术，快速集成最新组件，并在可靠性、 安全性、管理性等方面做企业级的增强，持续改进，持续保持技术领先。 FusionInsight 的企业级增强主要表现在以下几个方面。 安全 架构安全 FusionInsight 基于开源组件实现功能增强，保持 100%的开放性，不使用私有架构 和组件。 认证安全 基于用户和角色的认证统一体系，遵从帐户/角色 RBAC（Role-Based Access Control）模型，实现通过角色进行权限管理，对用户进行批量授权管理。 支持安全协议 Kerberos，FusionInsight 使用 LDAP 作
13、为帐户管理系统，并通过 Kerberos 对帐户信息进行安全认证。 提供单点登录，统一了 Manager 系统用户和组件用户的管理及认证。 对登录 FusionInsight Manager 的用户进行审计。 文件系统层加密 Hive、HBase 可以对表、字段加密，集群内部用户信息禁止明文存储。 加密灵活：加密算法插件化，可进行扩充，亦可自行开发。非敏感数据可不加 密，不影响性能（加密约有 5%性能开销） 。 业务透明：上层业务只需指定敏感数据（Hive 表级、HBase 列族级加密） ，加解 密过程业务完全不感知。 可信 所有管理节点组件均实现 HA（High Availability）
14、业界第一个实现所有组件 HA 的产品，确保数据的可靠性、一致性。NameNode、 Hive Server、HMaster、Resources Manager 等管理节点均实现 HA。 HBase 集群异地灾备 业界第一个支持超过 1000 公里异地容灾的大数据平台。 实现了 1000 公里以上的大 数据集群 HBase 地理容灾，为日志详单类存储提供了迄今为止可靠性最佳实践。 HBase、HDFS 数据备份恢复 表级集群全量备份、增量备份，日志追赶，数据恢复（对本地存储的业务数据进行 完整性校验，在发现数据遭破坏或丢失时进行自恢复） 。 华为 FusionInsight 2.3 产品概述 1
15、 概述 文档版本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 4 易用 统一运维管理 Manager 作为 FusionInsight 的运维管理界面，提供界面化的统一安装、告警、监控 和集群管理。 易集成 提供北向接口，实现与企业现有网管系统集成；当前支持 syslog 接口，接口消息可 通过配置适配现有系统；整个 Hadoop 集群采用统一的集中管理，未来北向接口可 根据需求灵活扩展。 易开发 提供自动化的二次开发助手和开发样例 Demo，帮助软件开发人员快速上手。 华为 FusionInsight 2.3 产品概述 2 典型应用场景 文档版本 02 (
16、2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 5 2 典型应用场景典型应用场景 关于本章 2.1 金融领域 2.2 运营商领域 2.1 金融领域 应用场景 金融领域典型应用场景如图 2-1 所示。 图2-1 金融领域应用示意图 场景特点 面对互联网金融的竞争压力， 金融企业急需重构以大数据分析挖掘为基础的决策和服务 体系，提升自身竞争力和客户满意度。在大数据时代，银行将从以交易为中心转向以数 据为中心，以应对更多维、更大量、更实时的数据和互联网业务的挑战。 华为 FusionInsight 可以从如下方面解决金融企业的问题，提升其竞争力。 华为 FusionInsight 2.3 产品概述 2 典型应用场景 文档版本 02 (2015-04-02) 华为专有和保密信息 版权所有 华为技术有限公司 6 历史交易明细实时查询业务 能够实时查询用户的历史交
