《hadoop培训视频教程1课件》由会员分享，可在线阅读，更多相关《hadoop培训视频教程1课件（10页珍藏版）》请在金锄头文库上搜索。
1、Hadoop大数据解决方案进阶应用大数据解决方案进阶应用HadoopMapReduce (2)1hadoop培训视频教程(1)qJobControl编程实例qJobControl设计原理qChainMapper/ChainReducer的实现原理qChainMapper/ChainReducer的编程实例课程目标课程目标2hadoop培训视频教程(1)JobControlJobControl的编程实例的编程实例q使用JobControl，则用户只需使用addDepending()函数添加作业依赖关系接口，JobControl会按照依赖关系调度各个作业3hadoop培训视频教程(1)JobCon
2、trolJobControl设计原理分析设计原理分析qJobControl由两个类组成：Job和JobControlqJob类封装了一个MapReduce作业及其对应的依赖关系，主要负责监控各个依赖作业的运行状态，以此更新自己的状态qJobControl封装了一系列MapReduce作业及其对应的依赖关系4hadoop培训视频教程(1)ChainMapper/ChainReducerChainMapper/ChainReducer的实现原理的实现原理qChainMapper/ChainReducer主要为了解决线性链式Mapper而提出的5hadoop培训视频教程(1)ChainMapper/
3、ChainReducerChainMapper/ChainReducer的实现原理的实现原理q对于任意一个MapReduce作业，Map和Reduce阶段可以有无限个Mapper，但Reducer只能有一个q一个ChainMapper/ChainReducer不适用的场景6hadoop培训视频教程(1)ChainMapper/ChainReducerChainMapper/ChainReducer的编程实例的编程实例qChainMapper/ChainReducer的基本使用方法7hadoop培训视频教程(1)ChainMapper/ChainReducerChainMapper/ChainR
4、educer实现原理分析实现原理分析q关键技术点是修改Mapper和Reducer的输出流，将本来要写入文件的输出结果重定向到另外一个Mapper中q需要重新实现一个OutputCollector完成数据重定向功能q当用户调用addMapper添加Mapper时，可以会为新添加的每个Mapper指定一个特有的JobConfq前面的实例对应的几个配置选项8hadoop培训视频教程(1)ChainMapper/ChainReducerChainMapper/ChainReducer实现原理分析实现原理分析q链式作业的执行将各个Mapper的JobConf对象反序列化构造对应的Mapper和Reducer对象，添加到数据结构mappers（List类型）和reducer（Reducer类型）中qChainMapper中实现的map()函数如下9hadoop培训视频教程(1)欢迎访问我们的官方网站10hadoop培训视频教程(1)
