Yarn 的工作原理、流程【重要】

简介: Yarn 的工作原理、流程【重要】

image.png

(1)首先,MR 程序提交到客户端所在的结点,YarnRunner 开始向 ResourceManager 申请一个 Application,ResourceManager 收到请求后返回给 YarnRunner 一个资源路径,随后该程序将运行所需的资源提交到 HDFS 上,资源提交完毕之后会向 ResourceManager 申请运行 MRApplication。

(2)ResourceManager 会将用户请求初始化成一个 Task 放入调度器中,默认使用 Capacity Scheduler 容量调度器。

(3)接着,由其中一个 NodeManager 领取到 Task 任务,该 NodeManager 会创建容器 Container,并产生 MRAPPMaster。其中,Container 会从 HDFS 上拷贝资源到本地,MRAppMaster 会向 ResourceManager 申请运行 MapTask 资源。

(4)然后,ResourceManager 将运行 MapTask 任务分配给另外两个 NodeManager,另外两个 NodeManager 分别领取任务并创建容器。

(5)接着,MRAppMaster 会向接收到任务的 NodeManager 发送程序启动脚本,这两个 NodeManager 分别启动 MapTask,MapTask 对数据进行分区排序。

(6)MRAPPMaster 等待所有 MapTask 运行完毕之后,会再次向 ResourceManager 申请容器,来运行 ReduceTask。ReduceTask 向 MapTask 获取相应的分区数据。

(7)最后,待程序运行完毕之后,MRAPPMaster 会向 ResourceManager 申请注销自己,释放资源。

相关文章
|
5月前
|
缓存 资源调度 JavaScript
秒懂Yarn:从安装到配置的全流程详解
**Yarn**是Facebook推出的JavaScript包管理器,旨在提供更快、更安全的依赖管理。它通过并行安装、离线模式、版本锁定和友好的命令行界面提升效率。要安装Yarn,可以使用npm、Homebrew或Chocolatey。基本命令包括初始化项目(`yarn init`)、安装/移除/升级依赖(`yarn add/remove/upgrade`)。配置Yarn涉及设置`.yarnrc`文件,如更改registry。通过`yarn.lock`文件保证依赖一致性。文章还提供了使用Yarn进行API测试和项目管理的实战案例。
259 0
|
存储 资源调度 分布式计算
YARN 作业提交全流程|学习笔记
快速学习 YARN 作业提交全流程
474 0
YARN 作业提交全流程|学习笔记
|
SQL 分布式计算 资源调度
Spark on Yarn Job的执行流程简介
2017-12-19-Hadoop2.0架构及HA集群配置(1) 2017-12-24-Hadoop2.0架构及HA集群配置(2) 2017-12-25-Spark集群搭建 2017-12-29-Hadoop和Spark的异同 2017-12-28-Spark-HelloWorld(Spark开发环境搭建)
|
资源调度 分布式计算 监控
【Hadoop技术篇】YARN 作业执行流程
Yarn的作业流程是每个大数据领域的工作者都应该熟记于心的内容,今天我就来整理一下执行流程,记得点赞加收藏哦。 
264 0
【Hadoop技术篇】YARN 作业执行流程
|
资源调度 分布式计算 监控
Apache Hadoop YARN 的架构与运行流程
Apache Hadoop YARN 的架构与运行流程
Apache Hadoop YARN 的架构与运行流程
|
资源调度 容器 流计算
Flink on YARN(上):一张图轻松掌握基础架构与启动流程
本文基于FLIP-6重构后的资源调度模型介绍Flink on YARN应用启动全流程,解答客户端和Flink Cluster的常见问题,分享相关问题的排查思路。
Flink on YARN(上):一张图轻松掌握基础架构与启动流程
|
资源调度 分布式计算 调度
Yarn源码分析之MapReduce作业中任务Task调度整体流程(一)
        v2版本的MapReduce作业中,作业JOB_SETUP_COMPLETED事件的发生,即作业SETUP阶段完成事件,会触发作业由SETUP状态转换到RUNNING状态,而作业状态转换中涉及作业信息的处理,是由SetupCompletedTransition来完成的,它主要做了...
1162 0
|
资源调度 监控
|
分布式计算 资源调度 Hadoop
Hadoop YARN 的工作流程简述
1、Client 向 YARN 提交应用程序,其中包括 ApplicationMaster 程序及启动 ApplicationMaster 命令2、ResourceManager 为该 ApplicationMaster 分配第一个 Container,并与对应的...
1421 0

相关实验场景

更多