开发者社区> 问答> 正文

yarn的执行流程具体是什么啊?

yarn的执行流程具体是什么啊?

展开
收起
游客vwuxaq6iqaowc 2021-12-07 12:56:32 263 0
1 条回答
写回答
取消 提交回答
  •     ①客户端向集群提交一个任务,该任务首先到RM中的AM

        ②AM收到任务后,会在集群中找一个NodeManger,在该NodeManger上启动一个APPMaster进程。该进程用于执行任务划分和任务监控。

        ③AppMaster启动起来之后,会向RM中的AM注册信息,APPMaster向RM下的ResourceSchedule申请计算任务所需的资源。

        ④AppMaster申请到资源之后,会与所有NodeManger通信要求他们启动所有计算任务(map和reudce)

        ⑤各个NM启动对应的容器Container用来执行Map和Reduce任务。

        ⑥各个任务会向APPMaster汇报自己的执行进度和执行状况,以便让AppMaster随时掌握各个任务的运行状态,在某个任务出了问题之后重启执行该任务。

        ⑦在执行完之后,APPMaster会向AM汇报,以便让ApplicationManger注销并关闭自己,使得资源得以回收。

    2021-12-07 12:57:00
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载