- FIFO Scheduler:仅做了解弃用
- Capacity Scheduler:容量调度器尝试用在集群节点100台+以上
- Fair Scheduler:节点台数<100优选,资源灵活配置
针对Fair Scheduler:
假设有两个用户 A 和 B,分别拥有一个自己的队列 Queue A 和 Queue B。当 A 启动一个 job1 而 B 没有提交任务时,A 会获得集群的全部资源(Queue A + Queue B);当 A 的 job1 仍在运行,且 B 启动第一个 job2 时,Queue A 会逐渐释放一半资源,两个任务会各自占用集群的一半资源。如果此时 B 再启动第二个 job3 并且其它 job 仍在运行时,则它将会和 B 的第一个 job2 共享队列 B 的资源,也就是 Queue B 的两个 job 将会分别占用集群的四分之一资源,而 A 的 job1 仍然占用集群的一半资源。
此时,这个过程中,job1 和 job2 分别占用集群的一半资源,后来由于 job3 的加入,job2 和 job3 平分 Queue B 的资源。最终结果就是集群的资源在两个用户之间实现了公平共享。
参考案例:
生产级实践:Oozie Launcher优化,配合Yarn资源调度模式能够更好地理解
https://support.huaweicloud.com/trouble-mrs/mrs_03_0302.html
https://blog.csdn.net/bigdataprimary/article/details/84314377
https://blog.csdn.net/godlovedaniel/article/details/106094675
https://blog.51cto.com/u_15278282/5154702
2.10-官方文档使用
官网截图先来一张。
三步使用法:
1.下载
2.开始
3.阅读文档
Download没什么好说的,下载好部署即可
Getting Started
主要包含了一些分布式配置信息和伪分布式配置信息等等
Documentation
主要是Hadoop一些核心操作的文档等
CDH
Cloudera发型公司的Hadoop集群,6.X版本后收费并升级为CDP
HDP
另一发行版Hadoop,应用不如CDH广泛
一键导入Vmware开箱即可用,组件包括常用的技术。