开发者社区> 问答> 正文

怎么理解YARN 框架主要工作流程?

怎么理解YARN 框架主要工作流程?

展开
收起
Medusa 2022-01-13 18:15:43 704 0
1 条回答
写回答
取消 提交回答
  • YARN 框架主要工作流程如下图所示,

    配图22.png

    (1)客户端向 ResourceManager 发出运行应用程序的请求。

    (2)ResourceManager 接收到客户端发出的运行应用程序的请求后,为应用程序分配资源。

    (3)ResourceManager 到 NodeManager 上启动 AppMaster。

    (4)AppMaster 向 ResourceManager 注册,使 ResourceManager 能够随时获得运行任务的进程状态信息;同时,ResourceManager 会为 AppMaster 分配资源,并将分配资源的信息发送给 AppMaster。

    (5)AppMaster 获得分配的资源信息后,启动相应节点上的 Container,执行具体的Task 任务。

    (6)Container 时刻与 AppMaster 进行通信,向 AppMaster 汇报任务执行情况。

    (7)当所有的任务运行完成之后,AppMaster 向 ResourceManager 发出请求,注销自己。

    以上内容摘自《海量数据处理与大数据技术实战》电子书,点击https://developer.aliyun.com/topic/download?id=8205可下载完整版

    2022-01-13 20:33:24
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载