YARN核心架构

简介: YARN核心架构

YARN架构

HDFS,主从架构,有2个角色

主(Master)角色:NameNode

从(Slave)角色:DataNode

image.png

 

YARN,主从架构,有两个角色

主(Master)角色:ResourceManager:管理,统筹并分配整个集群得资源

从(Slave)角色:NodeManager:管理,分配单个服务器得资源,即创建管理容器,由容器提供资源供程序使用

 

 

YARN架构

ResourceManager:整个集群的资源调度者,负责协调调度各个程序所需的资源

NodeManager:单个服务器的资源调度者,负责调度单个服务器上的资源提供给应用程序使用

image.png

 

 

 

image.png

 

 

什么是容器:

容器(Container)是YARNNodeManager在所属服务器上分配资源的手段

创建一个资源容器,即由NodeManager占用这部分资源

然后应用程序运行在NodeManager创建的这个容器内

应用程序无法突破容器的资源限制

 

目录
相关文章
|
资源调度 分布式计算 监控
|
3月前
|
资源调度 分布式计算 Hadoop
YARN(Hadoop操作系统)的架构
本文详细解释了YARN(Hadoop操作系统)的架构,包括其主要组件如ResourceManager、NodeManager和ApplicationMaster的作用以及它们如何协同工作来管理Hadoop集群中的资源和调度作业。
160 3
YARN(Hadoop操作系统)的架构
|
4月前
|
资源调度 分布式计算 监控
【揭秘Hadoop YARN背后的奥秘!】从零开始,带你深入了解YARN资源管理框架的核心架构与实战应用!
【8月更文挑战第24天】Hadoop YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的资源管理器,为Hadoop集群上的应用提供统一的资源管理和调度框架。YARN通过ResourceManager、NodeManager和ApplicationMaster三大核心组件实现高效集群资源利用及多框架支持。本文剖析YARN架构及组件工作原理,并通过示例代码展示如何运行简单的MapReduce任务,帮助读者深入了解YARN机制及其在大数据处理中的应用价值。
107 0
|
6月前
|
资源调度 分布式计算 监控
YARN的基本架构
【6月更文挑战第19天】YARN的基本架构
163 10
|
7月前
|
分布式计算 资源调度 Spark
Spark的一些问题汇总 及 Yarn与Spark架构的对比
Spark的一些问题汇总 及 Yarn与Spark架构的对比
89 0
|
7月前
|
资源调度 分布式计算 Hadoop
【Hadoop Yarn】YARN 基础架构分析
【4月更文挑战第7天】【Hadoop Yarn】YARN 基础架构分析
|
7月前
|
资源调度 分布式计算 Hadoop
Apache Hadoop YARN基本架构
【2月更文挑战第24天】
|
7月前
|
资源调度 分布式计算 监控
Hadoop中的YARN是什么?请解释其作用和架构。
Hadoop中的YARN是什么?请解释其作用和架构。
182 0
|
资源调度 容器
yarn基本架构和工作机制
yarn基本架构和工作机制
94 0
yarn基本架构和工作机制
|
资源调度
每日积累【Day 5】Yarn高可用架构重温
每日积累【Day 5】Yarn高可用架构重温
每日积累【Day 5】Yarn高可用架构重温