开发者社区> 问答> 正文

hadoop中容量调度器的产生背景是什么?

hadoop中容量调度器的产生背景是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:26:06 225 0
1 条回答
写回答
取消 提交回答
  • 公平调度器强调的是各个作业的公平共享原则,主要是保证资源池之间以公平地共享整个集群资源,然而整个集群的资源利用率的角度来看,公平调度并不能保证整个集群的资源的利用率最高,也就是虽然各种作业对资源的使用可以达到公平地原则,保证用户都可以公平地分享整个集群的资源,但是仍然存在计算资源利用率不高的问题,容量调度器就是用来解决这个问题。

    在容量调度器中,每个作业被提交到一个队列中,每个队列分配整个集群资源的容量(capacity)的一定比例,队列中的作业以FIFO的方式占用整个队列分配的资源(capacity)。调度的基本策略是首先选择一个容量capacity实际占用率最低的队列,这样最需要资源的队列优先调度,然后从FIFO队列中选择一个合适的作业。

    2021-12-06 08:26:18
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多