开发者社区 问答 正文

怎么理解YARN 框架主要工作流程?

怎么理解YARN 框架主要工作流程?

展开
收起
Medusa 2022-01-13 18:15:43 717 分享
分享
版权
1 条回答
写回答
取消 提交回答
  • YARN 框架主要工作流程如下图所示,

    配图22.png

    (1)客户端向 ResourceManager 发出运行应用程序的请求。

    (2)ResourceManager 接收到客户端发出的运行应用程序的请求后,为应用程序分配资源。

    (3)ResourceManager 到 NodeManager 上启动 AppMaster。

    (4)AppMaster 向 ResourceManager 注册,使 ResourceManager 能够随时获得运行任务的进程状态信息;同时,ResourceManager 会为 AppMaster 分配资源,并将分配资源的信息发送给 AppMaster。

    (5)AppMaster 获得分配的资源信息后,启动相应节点上的 Container,执行具体的Task 任务。

    (6)Container 时刻与 AppMaster 进行通信,向 AppMaster 汇报任务执行情况。

    (7)当所有的任务运行完成之后,AppMaster 向 ResourceManager 发出请求,注销自己。

    以上内容摘自《海量数据处理与大数据技术实战》电子书,点击https://developer.aliyun.com/topic/download?id=8205可下载完整版

    2022-01-13 20:33:24 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论