《mapreduceonyarn的工作流程》由会员分享，可在线阅读，更多相关《mapreduceonyarn的工作流程（3页珍藏版）》请在金锄头文库上搜索。
1、mapreduceonyarn 的工作流程当 client 提交一个任务后 ,首先 resourceManger(RM)来调度出一个container,这个 container 是在 nodeManger(NM)运作的 ,client 直接和这个 container 所在的 NM 进行通信 ,在这个 container 中启动 applicationMaster(AM), 启动成功之后 ,这个 AM 将全权负责此次任务的进度 ,失败原因 (在一次 job 中只有一个 AM).AM 会计算此次任务所需的资源 ,然后向 RM 申请资源 ,得到一组供 map/reduce task运行的 conta
2、iner,然后协同 NM 一起对每个 container 执行一些必要的任务 ,在任务执行过程中 ,AM 会一直监视着任务的运行进度,若中间某个NM 上的 container 中的任务失败 ,那么 AM 会重新找一台节点来运行此任务 .流程如下:MRv2 运行流程：resourceManager(RM) 提交一个jobMR JobClient向RM 向 Scheduler 请求一个供MR AM 运行的container，然后启动它MR AM 启动起来后向RM 注册MR JobClient 向 RM 获取到 MR AM 相关的信息，然后直接与MR AM 进行通信MR AM 计算 splits 并
3、为所有的map 构造资源请求MR AM 做一些必要的MR OutputCommitter的准备工作MR AM 向 RM(Scheduler) 发起资源请求， 得到一组供 map/reduce task 运行的 container，然后与 NM 一起对每一个 container 执行一些必要的任务，包括资源本地化等MR AM 监视运行着的 task 直到完成，当 task 失败时，申请新的 container 运行失败的 task当每个 map/reduce task 完成后， MR AM 运行 MROutputCommitter 的 cleanup 代码，也就是进行一些收尾工作当所有的map/reduce 完成后， MR AM 运行OutputCommitter 的必要的job commit 或者 abort APIsMR AM 退出。
