Yarn 的默认调度器、调度器分类、以及他们之间的区别

简介: Yarn 的默认调度器、调度器分类、以及他们之间的区别

(1)Hadoop 调度器主要分为三类:

FIFO 调度器、Capacity Scheduler(容量调度器)和 Fair Scheduler(公平调度器)。

Hadoop3.x 中 Yarn 的默认的资源调度器是 Capacity Scheduler(容量调度器)。

(apache 默认是容量调度器,CDH 默认是公平调度器)

容量、公平调度器默认是一个 default 队列,需要配置创建多个队列

 

(2)区别:

   FIFO 调度器:先进先出,同一时间队列中只有一个任务在执行,并且按照先进先出的顺序给应用分配资源。

   容量调度器:支持多队列、多用户,队列之间可以借用资源,每个队列内部先进先出,即优先满足先进来的任务执行,同一时间队列中只有一个任务在执行。队列的并行度为队列的个数。

   公平调度器:支持多队列、多用户,队列直接可以借用资源,每个队列内部按照缺额大小分配资源启动任务,同一时间队列中可以有多个任务执行,在队列中任务公平地享有队列资源。队列的并行度大于等于队列的个数。

注意:企业生产环境一定不会用 FIFO 调度器,要么是 Capacity Scheduler(容量调度器),要么是 Fair Scheduler(公平调度器)。

一般中小场一般用 Capacity Scheduler(容量调度器),对并发度要求不高;

中大厂用 Fair Scheduler(公平调度器),因为对并发度要求比较高,所以选择公平。

相关文章
|
7月前
|
资源调度 分布式计算 Java
Yarn资源调度器
Yarn资源调度器
43 0
|
22天前
|
资源调度 分布式计算 Hadoop
【Hadoop Yarn】Yarn 调度器分析
【4月更文挑战第7天】【Hadoop Yarn】Yarn 调度器分析
|
6月前
|
资源调度 分布式计算 Hadoop
YARN Capacity Scheduler容量调度器(超详细解读)
YARN Capacity Scheduler容量调度器(超详细解读)
249 0
|
7月前
|
SQL 资源调度 大数据
公共大数据集群中如何配置 YARN 的公平调度器和容量调度器
公共大数据集群中如何配置 YARN 的公平调度器和容量调度器
公共大数据集群中如何配置 YARN 的公平调度器和容量调度器
|
7月前
|
SQL 资源调度 分布式计算
聊聊 yarn 的三种资源调度器和公平调度器的最佳配置实践
聊聊 yarn 的三种资源调度器和公平调度器的最佳配置实践
|
资源调度 分布式计算 监控
YARN调度器(Scheduler)详解
Yarn调度器是什么,怎样配置呢。
833 0
YARN调度器(Scheduler)详解
|
资源调度 分布式计算 监控
不可不知的资源管理调度器Hadoop Yarn
Yarn(Yet Another Resource Negotiator)是一个资源调度平台,负责为运算程序如Spark、MapReduce分配资源和调度,不参与用户程序内部工作。同样是Master/Slave架构。
不可不知的资源管理调度器Hadoop Yarn
|
资源调度 分布式计算 Hadoop
Hadoop Yarn上的调度器
1. 引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。
1674 0
|
资源调度 调度
YARN的capacity调度器主要配置分析
参考: http://www.cnblogs.com/yanghaolie/p/6274098.html http://www.cnblogs.com/rilley/p/5679049.html
671 0
|
8月前
|
分布式计算 资源调度 监控
Hadoop学习笔记(四)之YARN
Hadoop学习笔记(四)之YARN