YARN核心架构

简介: YARN核心架构

YARN架构

HDFS,主从架构,有2个角色

主(Master)角色:NameNode

从(Slave)角色:DataNode

image.png

 

YARN,主从架构,有两个角色

主(Master)角色:ResourceManager:管理,统筹并分配整个集群得资源

从(Slave)角色:NodeManager:管理,分配单个服务器得资源,即创建管理容器,由容器提供资源供程序使用

 

 

YARN架构

ResourceManager:整个集群的资源调度者,负责协调调度各个程序所需的资源

NodeManager:单个服务器的资源调度者,负责调度单个服务器上的资源提供给应用程序使用

image.png

 

 

 

image.png

 

 

什么是容器:

容器(Container)是YARNNodeManager在所属服务器上分配资源的手段

创建一个资源容器,即由NodeManager占用这部分资源

然后应用程序运行在NodeManager创建的这个容器内

应用程序无法突破容器的资源限制

 

目录
相关文章
|
18小时前
|
资源调度 分布式计算 Hadoop
Apache Hadoop YARN基本架构
【2月更文挑战第24天】
|
18小时前
|
资源调度 分布式计算 监控
Hadoop中的YARN是什么?请解释其作用和架构。
Hadoop中的YARN是什么?请解释其作用和架构。
59 0
|
12月前
|
资源调度 容器
yarn基本架构和工作机制
yarn基本架构和工作机制
64 0
yarn基本架构和工作机制
|
资源调度
每日积累【Day 5】Yarn高可用架构重温
每日积累【Day 5】Yarn高可用架构重温
每日积累【Day 5】Yarn高可用架构重温
|
资源调度 分布式计算 监控
Yarn架构设计详解
今天来讲Yarn架构设计详解
307 0
Yarn架构设计详解
|
资源调度 分布式计算 监控
|
资源调度 分布式计算 监控
YARN 基本架构|学习笔记
快速学习 YARN 基本架构
YARN 基本架构|学习笔记
|
资源调度 分布式计算 监控
Apache Hadoop YARN 的架构与运行流程
Apache Hadoop YARN 的架构与运行流程
Apache Hadoop YARN 的架构与运行流程
|
资源调度 分布式计算 监控
YARN 架构
对Hadoop有过了解的都知道,Hadoop经历过很长一段时间的版本号混乱和架构调整,YARN是Hadoop 2.0(或者早期的0.23.x)提出的资源管理、任务调度框架。解决了很多Hadoop 1.0(或者0.21.x、0.22.x)时代的痛点。
131 0
YARN 架构
|
资源调度 容器 流计算
Flink on YARN(上):一张图轻松掌握基础架构与启动流程
本文基于FLIP-6重构后的资源调度模型介绍Flink on YARN应用启动全流程,解答客户端和Flink Cluster的常见问题,分享相关问题的排查思路。
Flink on YARN(上):一张图轻松掌握基础架构与启动流程