开发者社区> 问答> 正文

hadoop中Fair Schedular【公平调度器】的资源分配方式是什么?

hadoop中Fair Schedular【公平调度器】的资源分配方式是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:30:50 441 0
1 条回答
写回答
取消 提交回答
  • FIFO策略 公平调度器每个队列资源分配策略如果选择FIFO,则公平调度器相当于容量调度器。 FAIR策略 FAIR策略默认情况下是一种基于最大最小公平算法实现的资源多路复用方式,默认情况下每个队列内部采用该方法来分配资源。这意味着,如果一个队列中有两个应用程序同时运行,则每个应用程序可以得到1/2的资源。具体资源分配流程和容器调度器一致: 选择队列

    选择作业

    选择容器

    上述三个步骤都是按照公平策略分配资源: 实际最小资源份额:mindshare = Min(资源需求量,配置的最小配额) 是否饥饿:isNeedy = 资源使用量 < mindshare(实际最小资源份额) 资源分配比:mindShareRatio = 资源使用量 / Max(mindshare, 1) 资源使用权重比:useToWeightRatio = 资源使用量 /权重

    2021-12-06 08:31:09
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多