开发者社区> 问答> 正文

hadoop中公平调度器基本调度策略是什么?

hadoop中公平调度器基本调度策略是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:24:50 385 0
1 条回答
写回答
取消 提交回答
  • 公平调度策略的核心概念是随着时间的推移能平均获取同等的共享资源。当单独一个作业任务运行时,它将使用整个集群;当有其他作业被提交时,系统会将任务(task)空闲时间片(slot)赋给新的作业,以使得每一个作业都能获取等量的CPU时间。

    公平调度器中有一个资源池pool的概念,并通过资源池来组织作业,把资源公平地分配到这些资源池里面。在默认的情况下,每一个用户都拥有一个独立的资源池,以使得每一个用户都能获取一份同等的集群资源而不管其提交了多少作业。

    在每一个资源池内,会使用公平共享的方式在运行的作业间共享资源。用户可以给予资源池相应的权重,以不按比例的方式共享集群。除了提供公平共享的方法之外,公平调度器允许赋给资源池以保证最小的共享资源。

    公平调度器也支持在可配置的超时时间后对允许的作业进行抢占。如果新的作业在一定时间内还获取不到最小的共享资源,这个作业别允许去终结已运行的作业中任务以获取运行所需要的资源。

    2021-12-06 08:25:04
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多