yarn划分队列示例

简介:

修改Yarn服务的配置,修改Capacity Scheduler配置项如下:

修改部分:
yarn.scheduler.capacity.root.default.capacity=60
yarn.scheduler.capacity.root.default.maximum-capacity=60
yarn.scheduler.capacity.root.queues=default,dev

新增部分:
yarn.scheduler.capacity.root.dev.capacity=40
yarn.scheduler.capacity.root.dev.maximum-capacity=40
yarn.scheduler.capacity.root.dev.state=RUNNING
yarn.scheduler.capacity.queue-mappings=u:etl:dev,u:ETL:dev,u:gotop:dev,u:hive:default,g:hadoop:dev,g:hdfs:dev
yarn.scheduler.capacity.queue-mappings-override.enable=true
yarn.scheduler.capacity.root.dev.acl_administer_jobs=
yarn.scheduler.capacity.root.dev.acl_submit_applications=










本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/2049794,如需转载请自行联系原作者
目录
相关文章
|
SQL 分布式计算 资源调度
Hadoop Yarn 配置多队列的容量调度器
配置Hadoop多队列容量调度器,编辑`capacity-scheduler.xml`,新增`hive`队列,`default`队列占总内存40%,最大60%;`hive`队列占60%,最大80%。配置包括队列容量、用户权限和应用生存时间等,配置后使用`yarn rmadmin -refreshQueues`刷新队列,无需重启集群。多队列配置可在Yarn WEB界面查看。
810 4
|
SQL 资源调度 分布式计算
Yarn【多队列实例、任务优先级设置】
Yarn【多队列实例、任务优先级设置】
|
资源调度 分布式计算 Hadoop
Yarn队列租户配置教程(实践记录)
Yarn队列租户配置教程(实践记录)
463 0
|
资源调度 分布式计算 数据可视化
灵活、可用、高扩展,EasyMR 带来全新 Yarn 的队列管理功能及可视化配置
本文为大家介绍各类资源划分和队列管理方式,以及 EasyMR YARN 的队列管理功能,如何通过可视化界面管理,给广大用户带来更高效和便捷的队列管理体验。
502 0
|
SQL 资源调度 大数据
大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?
大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?
|
分布式计算 资源调度 Hadoop
大数据基础-yarn配置多资源队列
yarn配置多资源队列
516 0
|
资源调度 分布式计算 Hadoop
Yarn队列租户配置教程(实践记录)
Yarn队列租户配置教程(实践记录)
896 0
Yarn队列租户配置教程(实践记录)
|
资源调度 分布式计算 Hadoop
Yarn管理动态队列
动态队列是在应用程序运行时自动创建的。当 YARN 服务重新启动时,它们将被删除。
1256 0
Yarn管理动态队列
|
资源调度 分布式计算 Hadoop
Yarn配置每个队列属性
队列属性包含定义队列行为的设置。使用队列属性,您可以定义不需要直接从父队列继承属性的设置,并定义特定于队列的设置。
934 0
Yarn配置每个队列属性
|
存储 资源调度 分布式计算
CDP中Yarn管理队列
YARN Queue Manager 是 Apache Hadoop YARN Capacity Scheduler 的队列管理图形用户界面。您可以使用 YARN 队列管理器 UI 来管理集群容量,使用队列来平衡来自不同用户的多个应用程序的资源需求。使用 YARN 队列管理器 UI,您可以设置调度程序级别属性和队列级别属性。
1406 0
CDP中Yarn管理队列

热门文章

最新文章