AI 助理
备案控制台
开发者社区 问答 正文

E-MapReduce YARN上ApplicationMaster资源超过Queue限制该如何处理

已解决

E-MapReduce YARN上ApplicationMaster资源超过Queue限制该如何处理

展开
收起
阿里云服务支持 2022-12-06 13:44:13 247 分享 版权
来自： 阿里云支持与服务

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 阿里云服务支持
    官方回答

    任务在YARN上运行时会先启动一个ApplicationMaster，由这个Master来申请运行数据的资源，但是有一个参数会限制Master占用YARN资源的百分比，默认是0.25（25%）。如果作业都是消耗资源比较小的任务，建议修改yarn.scheduler.capacity.maximum-am-resource-percent的值，调整到0.5~0.8之间，修改参数后无需重启服务，可以直接在节点上执行yarn rmadmin -refreshQueues命令。

    2022-12-06 14:32:12
    赞同 展开评论
问答分类：
资源调度
问答标签：
Yarn资源 mapreduce yarn Yarn e-mapreduce e-mapreduce Yarn mapreduce资源
问答地址：
开发者社区 > 阿里云支持与服务 > 问答
相关问答
E-MapReduce yarn队列设置了maximum-am-resource-percen...
168
1
0
E-MapReduce集群创建好后只启动了hdfs hbase zookeeper没看见YARN启动
69
1
0
E-MapReduce Yarn组件中的NodeManager服务异常报错信息为/mnt/di...
112
1
0
E-MapReduce集群的CPU总核数和yarn-ui上的总核心数不一致
113
1
0
E-MapReduce集群YARN指标介绍
46
1
0
E-MapReduce集群impala开启kerberos后服务报错Couldn't find...
90
1
0
为什么我的包年包月E-MapReduce集群中按量ECS节点/抢占式ECS实例也会产生EMR服务费
85
1
0
如何修改E-MapReduce集群的root用户的登录密码
84
1
0
E-MapReduce集群yarn.nodemanager.resource.cpu-vcor...
94
1
0
E-MapReduce存量集群如何添加Kerberos认证
73
1
0