YARN中的资源调度主要通过其调度器(Scheduler)实现。
YARN (Yet Another Resource Negotiator) 是 Hadoop 生态系统中用于资源管理和作业调度的核心组件。它通过不同的调度器来分配和管理集群资源，确保作业能够高效、公平地运行。下面将详细介绍 YARN 中的资源调度机制：
- 资源调度器
- 基本架构：YARN 的资源调度器是 ResourceManager (RM) 的一个可插拔组件[^3^]。它负责整个集群资源的管理和分配，采用双层资源调度模型：第一层由 RM 将资源分配给应用程序管理器 (AM)；第二层由 AM 进一步将资源分配给它的内部任务[^2^][^3^]。整个过程基于 pull 通信模型，是异步的。
- 调度策略：YARN 提供了三种常用的调度器：FIFO (先进先出)、Capacity Scheduler (容量调度器) 和 Fair Scheduler (公平调度器)[^1^][^3^]。每种调度器具有不同的特点和应用场景，如 FIFO 适用于简单场景，容量调度器适用于多租户环境，公平调度器强调资源分配的公平性[^1^][^3^]。
- 资源表示模型
- 节点注册：在 NodeManager (NM) 向 ResourceManager (RM) 注册时，会报告该节点可分配的 CPU 和内存总量[^3^]。这些值可通过配置选项设置，例如
yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores[^3^]。 - 资源请求：YARN 支持丰富的资源请求语义，包括特定节点或机架上的资源请求、黑名单机制以及资源归还请求。不支持任意节点或机架上的特定资源量请求及超细粒度资源要求[^3^]。
- 节点注册：在 NodeManager (NM) 向 ResourceManager (RM) 注册时，会报告该节点可分配的 CPU 和内存总量[^3^]。这些值可通过配置选项设置，例如
- 增量资源分配机制
- 资源保证：当单个节点的闲置资源无法满足应用需求时，YARN 采用增量资源分配机制，预留部分资源直到累计释放的空闲资源满足应用程序需求。这种机制虽然可能造成一定资源浪费，但避免了应用程序“饿死”现象[^3^]。
- 层级队列管理
- 队列结构：YARN 的队列是层级关系，每个队列可以包含子队列，用户只能将任务提交到叶子队列[^3^]。管理员可以配置每个队列的资源保证和使用上限，并设置严格的 ACL 列表限制提交应用程序的权限[^3^]。
- 调度器详解
- FIFO：按提交顺序将应用排成一个队列，简单但不适合共享集群[^4^]。大应用可能占用所有资源，导致其他应用阻塞[^1^]。
- Capacity Scheduler：为每个队列设定资源保证和使用上限，支持资源共享和多租户管理，适合大规模集群[^2^]。队列间可共享剩余资源，提供弹性调度[^2^]。
- Fair Scheduler：旨在为所有应用分配公平的资源，不需要预先占用资源[^1^]。为所有运行的作业动态调整系统资源，尽可能让各作业平等共享资源[^1^][^3^]。
综上所述，YARN通过灵活的资源调度器、详细的资源表示模型和有效的增量资源分配机制，实现了强大而灵活的资源调度能力[^1^][^2^][^3^][^4^]。选择合适的调度器并优化资源配置是提高计算效率和响应速度的关键。
