《Hadoop生态系统(Part08-Yarn)V2.0》由会员分享，可在线阅读，更多相关《Hadoop生态系统(Part08-Yarn)V2.0（29页珍藏版）》请在金锄头文库上搜索。
1、Hadoop生态系统(第八部分 Yarn)浪 潮通信信息系统有限公司2YARN的 位置3 目录1 Yarn背景2 Yarn架构3 Yarn模块组成4 Yarn运行流程5 Yarn容错6 Yarn调度框架7 Yarn生态系统4 直接源 于 MRv1在几个方面 的 缺陷扩展性受限单点故障难以支持 MR之外的计算 多计算框架各自为 战 ,数据共 享 困难 MR:离线计算框架 Storm:实时计算框架 Spark:内存计算框架Hadoop YARN产生背景5Hadoop 2.0由 HDFS、 MapReduce和 YARN三个分支构成 HDFS:NN Federation、 HA MapReduce:
2、运行 在 YARN上 的 MR YARN:资 源管 理 系统Hadoop 1.0 与 Hadoop 2.06 目录1 Yarn背景2 Yarn架构3 Yarn模块组成4 Yarn运行流程5 Yarn容错6 Yarn调度框架7 Yarn生态系统7 Hadoop YARN基本架构8 目录1 Yarn背景2 Yarn架构3 Yarn模块组成4 Yarn运行流程5 Yarn容错6 Yarn调度框架7 Yarn生态系统9 ResourceManager 处理客户端请求 启动 /监控 ApplicationMaster 监控 NodeManager 资源分配与调度 NodeManager 单个节点上的资源
3、管理 处理来自 ResourceManager的命令 处理来自 ApplicationMaster的 命 令 ApplicationMaster 数据 切分 为 应用程序申请资源 ,并分配给内部 任务 任务 监控与容错Hadoop YARN各模块组成10 目录1 Yarn背景2 Yarn架构3 Yarn模块组成4 Yarn运行流程5 Yarn容错6 Yarn调度框架7 Yarn生态系统11 Hadoop YARN运行流程分析12 目录1 Yarn背景2 Yarn架构3 Yarn模块组成4 Yarn运行流程5 Yarn容错6 Yarn调度框架7 Yarn生态系统13 YARN容错Resource
4、Manager 存在单点故障 正在基于 ZooKeeper实现 HANodeManager 失败后 ,RM将失败任 务 告诉 对 应 的 AM; AM决定如何处理失败的 任 务ApplicationMaster 失败后 ,由 RM负责重启 AM需处理内部任务的容 错 问题 RMAppMaster会保存已经运行完成的 Task,重启 后 无需 重 新运行14 目录1 Yarn背景2 Yarn架构3 Yarn模块组成4 Yarn运行流程5 Yarn容错6 Yarn调度框架7 Yarn生态系统15 双层 调度框架 RM将资源分配给 AM AM将资源进一步分配给各个 Task 基于 资源预留的调度策略
5、 资源不够时 ,会为 Task预留 ,直到资源充足 与 “all or nothing”策略不同 (Apache Mesos)Hadoop YARN调度框架16Hadoop YARN调度框架17 多类型资源调度 采用 DRF算法 (论文 :“Dominant Resource Fairness: Fair Allocation of Multiple Resource Types”) 目前支持 CPU和内存两种资源 提供多种资源调度器 FIFO Fair Scheduler Capacity Scheduler 多租户资源调度器 支持资源按比例分配 支持层级队列划分方式 支持资源抢占Hadoo
6、p YARN资源调度器1819 支持内存 和 CPU两种资源隔离 内存是一种 “ 决定生死 ” 的资源 CPU是一种 “ 影响快慢 ” 的资源 内存隔离 基于线程监控的方案 基于 Cgroups的方案 CPU隔离 默认不对 CPU资源进行隔离 基于 Cgroups的方案Hadoop YARN资源隔离 方案20 支持的语义 请求某个特定节 点 /机架上的特定资源量 将某些节点加 入 (或移除 )黑名单 ,不再为自己分配这些节 点上 的资源 请求归还某些资源 不支持的语义 请求任意节点 /机架上的特定资源量 请求一组或几组符合某种特质的资源 超细粒度资源 动态调整 Container资源Hadoo
7、p YARN资源调度语义21 应用程序的运行模型22YARN应用程序类型长 应用程序和短应用程序长应用程序Service、 HTTP Server等短应用程序 MR job、 Spark Job等23 目录1 Yarn背景2 Yarn架构3 Yarn模块组成4 Yarn运行流程5 Yarn容错6 Yarn调度框架7 Yarn生态系统24 以 YARN为核心的生态系统25 离线计算框 MapReduce DAG计算框架 :Tez 流式计 流计 算框 :Storm 内存计算框 架 :Spark 图计算框 架 :Giraph、 GraphLib运行在 YARN上的计算框架26 提高集群资源利用率 服务自动化部署资源管理系统带来的好处27 资源管理系统发展趋势28 调度框架的完善 :YARN-896 支持更多的资源类型网 络 、磁 盘 等 支持更多的调度语义 长作业的在线升级 Storm在线升级等 Container资源动态调整 容错机制 ResourceManager自身容错 NodeManager宕掉 ,任 务不 受 影响 ApplicationMaster个性化容错YARN自身的完善谢谢大家 !
