YARN 框架主要工作流程如下图所示,
(1)客户端向 ResourceManager 发出运行应用程序的请求。
(2)ResourceManager 接收到客户端发出的运行应用程序的请求后,为应用程序分配资源。
(3)ResourceManager 到 NodeManager 上启动 AppMaster。
(4)AppMaster 向 ResourceManager 注册,使 ResourceManager 能够随时获得运行任务的进程状态信息;同时,ResourceManager 会为 AppMaster 分配资源,并将分配资源的信息发送给 AppMaster。
(5)AppMaster 获得分配的资源信息后,启动相应节点上的 Container,执行具体的Task 任务。
(6)Container 时刻与 AppMaster 进行通信,向 AppMaster 汇报任务执行情况。
(7)当所有的任务运行完成之后,AppMaster 向 ResourceManager 发出请求,注销自己。
以上内容摘自《海量数据处理与大数据技术实战》电子书,点击https://developer.aliyun.com/topic/download?id=8205可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。