1、客户端向ResourceManager提交job的申请
2、ResourceManager进行一系列的检查,返回一个jobID(表示job提交的先后顺序)和一个共享资源路径HDFS
3、客户端将共享资源job.jar job.split job.xml放在共享资源路径下
4、客户端通知RM资源放置完成,并真正的开始提交应用程序。
5、RM会返回一个NM节点,假设返回的是nodemanager02
6、RM到对应的节点上限启动contaoiner,再启动MRAppMaster
7、MRAppMaster进行初始化,生成一个作业薄。
8、MRAppMaster去共享资源路径下载共享资源nodemanager02
9、MRAppMaster想RM申请资源maptask reducetask
10、RM向MRAppMaster返回资源,优先资源本地node01 node02 node03
11、启动maptask前,先去共享资源下载jar包,MRAppMaster到对应的节点上启动maptask任务
12、maptask向MRAppMaster汇报状态和进度
13、reducetask获取maptask运行完成的时候,启动reducetask,启动之前先去下载jar包。
14、Maptask和reducetask运行过程中,如有运行完成的则会向MRAppMaster注销自己,释放资源
15、所有的maptask和reducetask运行完成,MRAppMaster向ResourceManager注销自己,释放资源
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。