Hadoop的调度和资源管理主要由两个核心组件负责：YARN（Yet Another Resource Negotiator）和ResourceManager。在Hadoop 2.x版本之后，YARN成为了资源管理和任务调度的核心。
YARN：
- YARN是Hadoop的一个重大改进，它将JobTracker的资源管理和任务调度功能分离，使得Hadoop集群能够更高效地支持多种计算框架。
- YARN主要由三个组件组成：ResourceManager、NodeManager和ApplicationMaster。
- ResourceManager：它是整个集群的资源管理者，负责接收来自ApplicationMaster的资源请求，并分配给它们。
- NodeManager：它运行在每个节点上，负责处理来自ResourceManager的命令，并管理容器(Container)的生命周期。
- ApplicationMaster：每个应用程序都会有一个ApplicationMaster，它负责与ResourceManager协商资源，并与NodeManager通信以执行和监控任务。
ResourceManager：
- ResourceManager是YARN中的中心服务器组件，负责集群资源的管理和调度。
- 它包含一个Scheduler组件，用于决定将资源分配给哪个应用程序。
- ResourceManager还包含一个Applications Manager组件，用于处理来自客户端的请求，如提交新应用程序或获取应用程序的状态信息。
调度器(Scheduler)：
- 调度器是ResourceManager的一部分，它决定了如何分配资源给不同的应用程序。Hadoop提供了几种不同的调度策略，包括Capacity Scheduler、Fair Scheduler和FIFO Scheduler。
- Capacity Scheduler：根据队列的容量来分配资源，可以设置队列之间的最小和最大资源保证。
- Fair Scheduler：试图公平地分配资源给所有正在运行的应用程序，除非有特定的资源需求。
- FIFO Scheduler：按先到先得的原则分配资源，是最简单的调度策略。
通过这些组件和机制，Hadoop能够有效地管理和调度大量的数据处理任务，同时支持多租户和多种计算框架。
