YARN 工作机制|学习笔记

开发者学堂课程【Hadoop 分布式资源管理框架  YARN：YARN 工作机制】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/95/detail/1565

YARN 工作机制

一、YARN 运行机制

1、Mr 程序提交到客户端所在的节点

2、申请一个 Application

3、Application 资源提交路径 hdfs：//..../staging 以及 application_id

4、提交 job 运行所需资源

5、资源提交完毕，申请运行 mrAppMaster

6、将用户的请求初始化成一个 Task

7、领取到 Task 任务

8、创建容器 Container

9、下载 job 资源到本地

10、申请运行 MapTask 容器

11、领取到任务，创建容器

12、发送程序启动脚本

13、向 RM 申请 2 个容器，运行 ReduceTask 程序

14、Reduce 向 Map 获取相应分区的数据

15、程序运行完后，MR 会向 RM 注销自己