《华为FusionInsightHD 2.3产品介绍资料》由会员分享，可在线阅读，更多相关《华为FusionInsightHD 2.3产品介绍资料（43页珍藏版）》请在金锄头文库上搜索。
1、FusionInsight 培训材料 产品介绍 1 FusionInsight HD企业版概述 1 FusionInsight HD特性介绍 2 FusionInsight 成功案例 3 2 Apache Hadoop 繁荣 蓬勃生长的开源生态系统 Hadoop核心基本组件的开 源代码量 接近200万行 开源组件代码量开源组件代码量 KLocKLoc ZooKeeper 64 BookKeeper 47 HDFS 438 YARN MapReduce 380 HBase 260 Hive 273 Oozie 88 Impala 102 汇总 1652 HBase组件在快速的发展 中 平均每个月
2、一个发布版 各组件团队之间 组件内团 队成员是松耦合 地理分布 式运作 相关特性无有效整合 3 FusionInsight 开源到企业级的蜕变 安全 版本 配合 配置 Hadoop HBase 日志 性能 调优 基线 选择 补丁 选择 采纳社区精华 去除开源Bug 谨慎选择稳定基线版本 认真评估高版本补丁影响范围评估和回合策略 采用数万个测试用例 确保企业版本稳定性 年份年份 提交提交 解决解决 2011 201 211 2012 399 302 华为团队社区问题华为团队社区问题 补丁贡献补丁贡献 2014年根据Hortorworks排名全球第五 亚洲第一 4 会使用 Hadoop 会定位周
3、边问题 会定位内核级问 题 拔尖的个人 定位内核级问题 的团队 依赖团 队而不是精英个 人 能够独立完成支 撑关键业务特性 的内核级开发 能够带领社区 引 领社区完成面向未 来的内核级特性开 发 能够创建新的社区 顶级项目 并且得 到生态系统认可 企业版的关键在于工程团队的能力 Apache开源社区生态系统 组件多 代码量大 组件更新块 特性无有效整合 强大的Hadoop内核团队支持的开发与产品交付能力 电信级运营支撑能力 某大银行CIO 我们把大数据应用视作 是生命线 肯定是采用企业版 因为搞开 源软件不是我们的主业 在选合作伙伴的 时候 我们一定考虑门当户对 因为强有 力的合作伙伴才能保证
4、3 5年的供应 合 作安全 5 FusionInsight解决方案简介 Manager Kerberos Ldap H D F S H B a s e H I v e S p a r k R e d I s Y a r n S o l r M P P M i n e r F a r m e r S t o r m Z K M R FusionInsight HD FusionInsight Farmer FusionInsight Miner FusionInsight Stream FusionInsight MPPDB 组件 子产品 解决方案 L o a d e r K a f K a 推
5、荐系统 FusionInsight HD FusionInsight的Hadoop是指广义的 hadoop生态圈 提供商用Hadoop基 础平台 FusionInsight Stream 提供实时流处理平台 FusionInsight Farmer 提供数据服务框架 大数据实时应用 使能器 支撑企业快速开发基于大数 据平台的应用 FusionInsight Miner 提供数据挖掘服务集 基于分布式内 存计算的数据分析平台 FusionInsight MPPDB 提供相对独立部署的通用MPP数据库 用于性能较高的交互分析场景 FusionInsight Recommender 支持挖掘模型在在
6、线系统的打分预测 根据客户特征快速部署企业推荐系统 O o z i e H U E M a h o u t H i g r a p h E L K F l u m e Monitor Adapter Install Adapter Upgrade Adapter Alarm Adapter Config Adapter Auth Adapter Patch Adapter 统一管理 Recommender R e c o m m e n d e r 应用场景 广告推荐 理财推荐 历史数据管理 大数据融合 6 HIVE Impala HDFS HBase M R Spark Porter Min
7、er DataFarm Hadoop Storm Solr 系统管理 Farmer 服务治理 Manager Hadoop API Plugin API OpenAPI SDK 应用服务层 REST SNMP Syslog Data Information Knowledge wisdom Yarn Zookeeper FusionInsight架构概述 安全管理 MPP DB FusionInsight的Hadoop层提供大数据处理环境 基于社区开源软件增强 按照场景选择业界最佳实践 FusionInsight的DataFarm层提供支撑端到端数据洞察 构建数据到信息到知识到智慧的数据供应链
8、 其中包括 相对独立的数据集成服务Porter 数据挖掘服务Miner和数据服务框架Farmer FusionInsight Manager是一个分布式系统管理框架 管理员可以从单一接入点操控分布式集群 包括系统管理 OM NTP 灾备 数据安全管理和数据治理 7 为行业业务负载优化的统一大数据处理平台 FusionInsight用100 开源的核心支持混合负载 从批量 交互查询 数据挖掘 到实时流和查询等各种场景 开放式存储格式 Rcfile ORCfile Parquet 以避免锁定私有文件格式 所有的组件都通过Manager提供的插件框架来按需安装 开源 轻度增强 开源 深度增强 开源
9、孵化特性 自研 DSL IDE 分布式计算框架 HDFS HBase Storm MapReduce Tez Pig Hive YARN Zookeeper Spark Flume Sqoop Integration Batch Processing Interactive Query Search Machine Learning Event Stream Process Impala Solr MLLIB 分布式存储 Streaming Calculation 基础设施 Standard Server IMC Server Storage Server Pluggable Accelera
10、tor Network Online Query Spark Streaming CQL Phoenix Elk HiGraph CTBase MPP DB 8 电信级可靠性 系统可靠性 系统可靠性 业务无单点 OMS HDFS HBASE YARN HIVE OOZIE HUE ZOOKEEPER BOOKEEPER采用主备 负荷 分担方式实现服务无单点故障 管理节点HA OMS节点及所有业务组件中 心管理节点实现HA 跨DC容灾 备份 HBase集群通过HLOG准 实时复制 HDFS Hive集群通过 BackupAdmin异步复制实现跨数据中心灾备 第三方备份系统集成 数据可以灵活的备份
11、在外 部系统如NAS 磁带库 只是和NBU等备份软 件集成 1 1 1 1 1 1 2 2 3 3 1 3 4 4 9 电信级可靠性 数据可靠性 数据可靠性 OS层可靠性加固 RAID OS写缓存保护实现掉电 数据保护 Raid策略 OS OMS NameNode ZK 及 HDFS数据节点采用不同硬盘分区及Raid策略 兼顾性能情况下保证数据可靠性 快速故障检测 结合华为存储产品经验 尽快发 现故障硬盘 降低MTTR 提高数据可靠性 硬盘热插拔 支持在线集群硬盘更换不影响业务 降低MTTR 第三方备份系统集成 数据可以灵活的备份在外 部系统如NAS 磁带库 只是和NBU等备份软件 集成 跨数
12、据中心数据备份 HBase集群通过HLOG准 实时复制 HDFS Hive集群通过 BackupAdmin 异步复制实现跨数据中心灾备 3 3 3 4 6 5 7 8 6 6 5 8 4 7 10 故障 无故障检测机制 MTTR无保障 掉电 应用缓存 OS缓存 RAID卡缓存 硬盘缓存 中的脏数据可能丢失 集群重启导致业务数据丢失 系统不能启动 坏盘 硬盘故障是常态 1PB数据1200块硬盘 每10 天约有1块硬盘损坏 年故障率按3 节点退服 换硬盘 启动 单次换盘操作 20 分钟 同时引发大量无效数据副本重建 掉电保护 对数据写入全路径进行优化 确保系统异常掉电后 业 务仍能可靠地启动 有效
13、保护业务组件的基本运行环境 程序文件 配置文件 元数据 事务日志 安全账户信息 故障检测 系统实时监控硬件 OS和业务进程的健康状态 缩短MTTR 系统数据持久度达99 999 1PB数据 3副本 1200块4TB硬盘 硬盘年 故障率3 双容灾集群的数据持久度更高 7个9 在线换盘 无需人工操作 热替换故障硬盘 单次换盘操作 2分钟 直接使用本地硬盘的业务组件 如HDFS 均支持硬盘热插拔 不直接使用本地硬盘的业务组件 如HBase 通过HDFS支持硬盘热插拔 可靠运维关键技术 11 MR HBase HDFS Hive Zk Oozi e KDC 业务开发用户 运维用户 超级管理员 3 5
14、4 4 LDAP 防火墙 OMS CAS 企业外网 企业内网 1 2 2 4 网络安全 通过防火墙将企业内外网络隔离 维护平面和业务平面通过子网隔离 1 Kerberos认证 Hadoop服务用户鉴权管理 用户鉴权信息存储HA 3 用户 用户组管理 访问FusionInsight Hadoop Manager用户权限管理和审计 Hadoop组件WEBUI服务支持单点登录认证 2 数据加密 Hive MR和HBase在固化到HDFS中的数据均加密存储 细粒度的安全管理 可按照表 按列加密 5 数据分角色存储 Hive和HBase中数据分用户 角色受控存储 用户间数据隔离 细粒度的权限管理 可按照
15、表 按列控制访问权限 4 工作流调度 6 为指定用户或组授予流程的执行 管理权限 为某个流程设置可使用的MR队列资源 5 6 可运营的安全体系 12 易安装 向导式操作 Step by step引导 完成安装 自动环境准备 内置脚本完成操 作系统配置 分布式并行安装 10分钟完成集 群安装 Step2 配置集群 拓扑 Step3 配置集群 参数 自动完成安装配置 易运维 向导式安装配置 易配置 模板化配置 配置参数整合为模 板 配置简单明了 关联配置自动同步 避免配置修 改引发的多处人工修改 13 Dash Board 直观监控全局信息 监控对象 显示指标可灵活定制 可作为集群维护操作的统一入
16、口 状态管理 全面掌控系统状态 全面管理监控节点状态和服务状态 面向对象的操作 简单直观 集中统一管理集群 方便快捷 审计日志 详尽记录操作信息 支持日志文件导出 支持分类过滤 搜索 集群节点状态 集群服务状态 HBase RS状态 服务状态管理 节点状态管理 易运维 全系统可定制的实时运行监控 14 平滑在线扩展 快速升级 向导式界面操作 在线扩展 不影响业务 支持在线调整集群拓扑 各组件灵活扩展 向导式界面操作 升级过程异常则自动安全回退 支持观察期手工触发安全回退 稳定运行后确认提交升级 6分钟完成集群升级 集群 完成完成 观察期观察期 易运维 图形化快速升级和平滑扩容向导 15 Storm 易开发 Def Input public void open Map conf TopologyContext context SpoutOutputCollector collector public void nextTuple public void declareOutputFields OutputFieldsDeclarer declarer Def logic public v
