YARN 工作机制|学习笔记

简介: 快速学习 YARN 工作机制

开发者学堂课程【Hadoop 分布式资源管理框架  YARN:YARN 工作机制】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/95/detail/1565


YARN 工作机制


一、YARN 运行机制

1、Mr 程序提交到客户端所在的节点

2、申请一个 Application

3、Application 资源提交路径 hdfs://..../staging 以及 application_id

4、提交 job 运行所需资源

5、资源提交完毕,申请运行 mrAppMaster

6、将用户的请求初始化成一个 Task

7、领取到 Task 任务

8、创建容器 Container

9、下载 job 资源到本地

10、申请运行 MapTask 容器

11、领取到任务,创建容器

12、发送程序启动脚本

13、向 RM 申请 2 个容器,运行 ReduceTask 程序

14、Reduce 向 Map 获取相应分区的数据

15、程序运行完后,MR 会向 RM 注销自己

图片5.png

相关文章
|
分布式计算 资源调度 监控
Hadoop学习笔记(四)之YARN
Hadoop学习笔记(四)之YARN
|
7月前
|
资源调度 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.14 安装YARN+MR
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
283 0
Hadoop学习笔记(HDP)-Part.14 安装YARN+MR
|
存储 资源调度 分布式计算
YARN 作业提交全流程|学习笔记
快速学习 YARN 作业提交全流程
476 0
YARN 作业提交全流程|学习笔记
|
资源调度 分布式计算 Hadoop
CDH 搭建_ Hadoop _ Yarn 搭建|学习笔记
快速学习 CDH 搭建_ Hadoop _ Yarn 搭建
223 0
CDH 搭建_ Hadoop _ Yarn 搭建|学习笔记
|
SQL 资源调度 分布式计算
配置 YARN 并启动测试|学习笔记
快速学习配置 YARN 并启动测试
配置 YARN 并启动测试|学习笔记
|
存储 资源调度 分布式计算
集成 Hadoop 服务(HDFS、YARN)| 学习笔记
快速学习 集成 Hadoop 服务(HDFS、YARN)
204 0
集成 Hadoop 服务(HDFS、YARN)| 学习笔记
|
XML 资源调度 分布式计算
启动 YARN 并运行 MR 程序|学习笔记
快速学习 启动 YARN 并运行 MR 程序
249 0
启动 YARN 并运行 MR 程序|学习笔记
|
资源调度 分布式计算 监控
YARN 基本架构|学习笔记
快速学习 YARN 基本架构
121 0
YARN 基本架构|学习笔记
|
SQL 资源调度 分布式计算
hive 数据源、yarn 集群测试、SQL 分组取 topN3| 学习笔记
快速学习 hive 数据源、 yarn 集群测试、SQL 分组取 topN3
147 0
|
资源调度 分布式计算 大数据
Yarn 集群模式_3 | 学习笔记
快速学习 Yarn 集群模式_3
127 0

相关实验场景

更多