《hadoop培训视频教程(1)》由会员分享，可在线阅读，更多相关《hadoop培训视频教程(1)（10页珍藏版）》请在金锄头文库上搜索。
1、Hadoop大数据解决方案进阶应用大数据解决方案进阶应用Hadoop讲师：迪伦北风网版权所有MapReduce高阶实现高阶实现(2)编辑课件qJobControl编程实例qJobControl设计原理qChainMapper/ChainReducer的实现原理qChainMapper/ChainReducer的编程实例课程目标课程目标编辑课件JobControlJobControl的编程实例的编程实例q使用JobControl，那么用户只需使用addDepending()函数添加作业依赖关系接口，JobControl会按照依赖关系调度各个作业编辑课件JobControlJobControl设计
2、原理分析设计原理分析qJobControl由两个类组成：Job和JobControlqJob类封装了一个MapReduce作业及其对应的依赖关系，主要负责监控各个依赖作业的运行状态，以此更新自己的状态qJobControl封装了一系列MapReduce作业及其对应的依赖关系编辑课件ChainMapper/ChainReducerChainMapper/ChainReducer的实现原理的实现原理qChainMapper/ChainReducer主要为了解决线性链式Mapper而提出的编辑课件ChainMapper/ChainReducerChainMapper/ChainReducer的实现原
3、理的实现原理q对于任意一个MapReduce作业，Map和Reduce阶段可以有无限个Mapper，但Reducer只能有一个q一个ChainMapper/ChainReducer不适用的场景编辑课件ChainMapper/ChainReducerChainMapper/ChainReducer的编程实例的编程实例qChainMapper/ChainReducer的根本使用方法编辑课件ChainMapper/ChainReducerChainMapper/ChainReducer实现原理分析实现原理分析q关键技术点是修改Mapper和Reducer的输出流，将本来要写入文件的输出结果重定向到另
4、外一个Mapper中q需要重新实现一个OutputCollector完成数据重定向功能q当用户调用addMapper添加Mapper时，可以会为新添加的每个Mapper指定一个特有的JobConfq前面的实例对应的几个配置选项编辑课件ChainMapper/ChainReducerChainMapper/ChainReducer实现原理分析实现原理分析q链式作业的执行q将各个Mapper的JobConf对象反序列化q构造对应的Mapper和Reducer对象，添加到数据结构mappersList类型和reducerReducer类型中qChainMapper中实现的map()函数如下编辑课件欢送访问我们的官方网站 ibeifeng 编辑课件
