开发者社区> 问答> 正文

hadoop中3Capacity Scheduler调度器的特点优点以及缺点分别有哪些?

hadoop中3Capacity Scheduler调度器的特点优点以及缺点分别有哪些?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:29:15 470 0
1 条回答
写回答
取消 提交回答
  • Capacity Scheduler由Yahoo开发。

    特点:

    同队列内部FIFO调度与多队列并行:每个队列可配置一定量的资源,每个采用FIFO的方式调度;多个队列同时按照任务队列内的先后顺序一次执行。例如下图中job11、job21、job31分别在各自队列中顺序比较靠前,三个任务就同时执行。

    容量保证:管理员可以为每个队列设置资源最低保证和资源使用上限。

    灵活性:分如果一个队列中的资源有剩余,可以暂时共享给其它需要资源的队列,而该队列若有新的应用程序提交,则其它队列借调的资源会归还给该队列。

    多租户:支持多用户共享集群和多应用程序同时运行,为了防止同一个用户的作业独占队列的资源,该调度器会对同一用户提交的作业所占资源量进行限定。其次,按照job任务的优先级和时间顺序,同时要考虑到用户的资源量和内存的限制,对队列中的job任务进行排序执行。

    调度策略:

    优先学则资源利用率低的队列。

    每个队列可以单独设置资源分配方式:FIFO、DRF ———————————————— 版权声明:本文为CSDN博主「渊飞」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/duguwanglong/article/details/120246046

    2021-12-06 08:39:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多