YARN核心架构

简介: YARN核心架构

YARN架构

HDFS,主从架构,有2个角色

主(Master)角色:NameNode

从(Slave)角色:DataNode

image.png

 

YARN,主从架构,有两个角色

主(Master)角色:ResourceManager:管理,统筹并分配整个集群得资源

从(Slave)角色:NodeManager:管理,分配单个服务器得资源,即创建管理容器,由容器提供资源供程序使用

 

 

YARN架构

ResourceManager:整个集群的资源调度者,负责协调调度各个程序所需的资源

NodeManager:单个服务器的资源调度者,负责调度单个服务器上的资源提供给应用程序使用

image.png

 

 

 

image.png

 

 

什么是容器:

容器(Container)是YARNNodeManager在所属服务器上分配资源的手段

创建一个资源容器,即由NodeManager占用这部分资源

然后应用程序运行在NodeManager创建的这个容器内

应用程序无法突破容器的资源限制

 

目录
相关文章
|
资源调度 分布式计算 监控
|
2月前
|
资源调度 分布式计算 监控
YARN的基本架构
【6月更文挑战第19天】YARN的基本架构
46 10
|
3月前
|
分布式计算 资源调度 Spark
Spark的一些问题汇总 及 Yarn与Spark架构的对比
Spark的一些问题汇总 及 Yarn与Spark架构的对比
42 0
|
3月前
|
资源调度 分布式计算 Hadoop
【Hadoop Yarn】YARN 基础架构分析
【4月更文挑战第7天】【Hadoop Yarn】YARN 基础架构分析
|
3月前
|
资源调度 分布式计算 Hadoop
Apache Hadoop YARN基本架构
【2月更文挑战第24天】
|
3月前
|
资源调度 分布式计算 监控
Hadoop中的YARN是什么?请解释其作用和架构。
Hadoop中的YARN是什么?请解释其作用和架构。
107 0
|
资源调度 容器
yarn基本架构和工作机制
yarn基本架构和工作机制
76 0
yarn基本架构和工作机制
|
资源调度
每日积累【Day 5】Yarn高可用架构重温
每日积累【Day 5】Yarn高可用架构重温
每日积累【Day 5】Yarn高可用架构重温
|
资源调度 分布式计算 监控
Yarn架构设计详解
今天来讲Yarn架构设计详解
330 0
Yarn架构设计详解
|
资源调度 分布式计算 监控
YARN 基本架构|学习笔记
快速学习 YARN 基本架构
104 0
YARN 基本架构|学习笔记