公平调度策略的核心概念是随着时间的推移能平均获取同等的共享资源。当单独一个作业任务运行时,它将使用整个集群;当有其他作业被提交时,系统会将任务(task)空闲时间片(slot)赋给新的作业,以使得每一个作业都能获取等量的CPU时间。
公平调度器中有一个资源池pool的概念,并通过资源池来组织作业,把资源公平地分配到这些资源池里面。在默认的情况下,每一个用户都拥有一个独立的资源池,以使得每一个用户都能获取一份同等的集群资源而不管其提交了多少作业。
在每一个资源池内,会使用公平共享的方式在运行的作业间共享资源。用户可以给予资源池相应的权重,以不按比例的方式共享集群。除了提供公平共享的方法之外,公平调度器允许赋给资源池以保证最小的共享资源。
公平调度器也支持在可配置的超时时间后对允许的作业进行抢占。如果新的作业在一定时间内还获取不到最小的共享资源,这个作业别允许去终结已运行的作业中任务以获取运行所需要的资源。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。