YARN中的CPU资源隔离-CGroups-阿里云开发者社区

开发者社区> 寒沙牧> 正文

YARN中的CPU资源隔离-CGroups

简介: YARN中集成了CGroups的功能,使得NodeManger可以对container的CPU的资源使用进行控制,比如可以对单个container的CPU使用进行控制,也可以对NodeManger管理的总CPU进行控制。
+关注继续查看

0. 前言

CGroups(Control Groups)是Linux内核的一个资源隔离功能,限制/隔离/统计进程的资源使用,包括CPU/内存/磁盘IO/网络等资源。

YARN中也集成了CGroups的功能,使得NodeManger可以对container的CPU的资源使用进行控制,比如可以对单个container的CPU使用进行控制,也可以对NodeManger管理的总CPU进行控制。

1. YARN开启CGroups功能

E-MapReduce集群中的YARN默认没有开启CGroups的功能,需要用户根据需求进行开启,下面介绍如何在E-MapReduce集群中开启CGroups。

1.1 umount cgroups cpu

E-MapReduce集群使用的是Centos7的操作系统,默认CGroups的cpu和cpuacct两个子系统控制器(SubSystem Controller)合并到一起,mount的路径在/sys/fs/cgroup/cpu,cpuacct

由于NodeManger在launch container的时候,有个CGroups路径逻辑会以逗号进行解析分隔,所以会造成/sys/fs/cgroup/cpu,cpuacct被错误的解析出/sys/fs/cgroup/cpu,从而导致container启动失败。所以需要避免cpu控制器的mount路径出现逗号,我们需要将默认的mount路径umount掉,然后后续可以交给NodeManger去自动mount到另外一个可配置的路径。

集群上所有节点执行

#umount原来默认路径
umount /sys/fs/cgroup/cpu,cpuacct

#创建新的cpu控制器mount路径
mkdir -p /cgroup/cpu

1.2 配置YARN

可参考官方文档Using CGroups with YARN

添加CGroups配置

在E-MapReduce的集群配置管理页面下的YARN的yarn-site中添加如下配置:

配置名称 备注
yarn.nodemanager.container-executor.class org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor
yarn.nodemanager.linux-container-executor.resources-handler.class org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler
yarn.nodemanager.linux-container-executor.group hadoop 跟/etc/ecm/hadoop-conf/container-executor.cfg文件中yarn.nodemanager.linux-container-executor.group对应的值保持一致
yarn.nodemanager.linux-container-executor.cgroups.mount-path /cgroup 1.1节中新建的CGroups路径,不需要加上/cpu,YARN会自动在该路径后补上/cpu,即/cgroup/cpu
yarn.nodemanager.linux-container-executor.cgroups.mount true 1.1节umount原来的路径后,只是新建了一个新路径/cgroup/cpu,并未mount上cpu控制器,所以这地方需设置为true让YARN去做mount操作
选择添加其它配置

除了上述开启CGroups功能相关的参数外,还有相关参数可以选择设置(针对非Kerberos安全集群)。

配置名称 备注
yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user 建议不做设置,默认是nobody
yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users false 设置为false,即以实际提交作业的用户跑作业,否则会使用上面local-user的固定用户来运行作业

1.3 重启YARN

添加完上述配置后,在E-MapReduce集群配置管理下的重启YARN集群。

2. YARN中CGroups对CPU控制测试

2.1 控制参数

在开启了CGroups功能的前提下,可以通过调节YARN中的参数来控制CPU的资源使用行为:

配置名称 描述
yarn.nodemanager.resource.percentage-physical-cpu-limit NodeManager管理的所有container使用CPU的硬性比例,默认100%
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage 对container的CPU使用资源是否严格按照被分配的比例进行控制,即使CPU还有空闲。默认是false,即container可以使用空闲CPU

备注:
任何场景下,NodeManger管理的container的CPU都不能超过yarn.nodemanager.resource.percentage-physical-cpu-limit比例。

2.2 测试

2.2.1 总container的CPU控制测试

通过调节yarn.nodemanager.resource.percentage-physical-cpu-limit参数来控制NodeManager管理的所有container的CPU使用。

下面分别设置该值为10/30/50为例,在yarn中跑一个hadoop pi作业,观察NodeManger所在机器的cpu耗费情况。

集群配置为3台4核16GB,其中2台NodeManger,1台ResourceManager

备注
top命令中
%CPU表示进程占用单个核的比例
%Cpu(s)表示所有用户进程占总cpu的比例

10
physical_cpu_10_1
如上图所示:
%Cpu(s)接近10%
%CPU所有的test用户的container进程加起来(7%+5.3%+5%+4.7%+4.7%+4.3%+4.3%+4%+2%=41.3%=0.413个核,约等于10%*4core,即4个核的10%比例)

30
physical_cpu_30_1
如上图所示:
%Cpu(s)接近30%
%CPU所有的test用户的container进程加起来(19%+18.3%+18.3%+17%+16.7%+16.3%+14.7%+12%=132.3%=1.323个核,约等于30%*4core=1.2核,即4个核的30%比例)

50
physical_cpu_50_1
如上图所示:
%Cpu(s)接近50%
%CPU所有的test用户的container进程加起来(65.1%+60.1%+43.5%+20.3%+3.7%+2%=194.7%=1.947个核,约等于50%*4core=2核,即4个核的50%比例)

2.2.2 container间的CPU控制测试

NodeManger上面启动多个container,所有这些container对CPU资源的占用不超过2.2.1中设置yarn.nodemanager.resource.percentage-physical-cpu-limit的硬性比例上限。

在硬性上限前提下,NodeManger有两种方式来管理控制多个container之间的CPU使用率,这两种方式通过参数yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage来进行控制。

  • 共享模式(share)

yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage设置为false时即为共享模式(默认为false)。

在这种模式下,container除了实际被需要分配的CPU资源外,还可以利用空闲的CPU资源。

例如如果一个container的vcore为1,NodeManger配置的vcore为8,yarn.nodemanager.resource.percentage-physical-cpu-limit设置为50%,NodeManger所在节点是4core,那么该container申请按比例被分配的cpu资源为(1vcore/8vcore)(4core50%)=0.25core,但是如果CPU有空闲,理论上该container可以占满NodeManger管理的上限(4core*50%=2core)

以上述2.2.1节中hadoop pi为例:
yarn.nodemanager.resource.percentage-physical-cpu-limit=50
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage=false

physical_cpu_50_1

上图可以看出,test用户的多个container进程占用CPU核数的比例相差很大(65%=0.65core 60.1%=0.61core 3.7%=0.37core等),即单个container的CPU使用没有被严格限制在(1vcore/8vcore)(4core50%)=0.25core

  • 严格模式(strict)

yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage设置为true时即为严格模式。

在这种模式下,container只能使用被需要分配的CPU资源,即使CPU有空闲也不能使用。

以上述共享模式同样参数作业为例,只是将该参数改为true:
yarn.nodemanager.resource.percentage-physical-cpu-limit=50
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage=true

physical_cpu_strict

如上图所示,test账号下的每个container占用的CPU核数均在0.25core附近(26.6%=0.266core 24.9%=0.249core),而0.25core即为该container实际应该被分配的CPU((1vcore/8vcore)(4core50%)=0.25core)

有兴趣或者有需求的用户可以关注一下E-MapReduce的安全相关的功能,有问题及时联系和反馈。

c7c8f09ebf3cc7795e0dd0da330cec88

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10053 0
Java程序在K8S容器部署CPU和Memory资源限制相关设置
背景 在k8s docker环境中执行Java程序,因为我们设置了cpu,memory的limit,所以Java程序执行时JVM的参数没有跟我们设置的参数关联,导致JVM感知到的cpu和memory是我们k8s的work node上的cpu和memory大小。
5695 0
【Spark Summit East 2017】用Yarn监控Scala和Python Spark工作的动态资源使用情况
本讲义出自Ed Barnes与Ruslan Vaulin在Spark Summit East 2017上的演讲,我们都害怕“失去的任务”和“容器由于超出内存限制被Yarn关闭”的消息在Spark Yarn的应用程序出现的比例增多。
2348 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13867 0
bbossgroups 框架最小依赖工程资源下载(mvc,aop,persistent,taglib,object servializable)
bbossgroups 框架最小依赖工程(mvc,taglib,aop,persistent,object servializable) mvc-min-eclipse.zip:包含mvc,taglib,aop/ioc最小依赖eclipse工程和测试用例 persistent-min-eclipse.
575 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
11887 0
android系统cpu资源相关查询
android系统cpu资源相关查询        我们都知道android是基于linux系统内核的,在linux系统中我们查看系统资源消耗情况,一个可以直接通过命令行的top命令来看,里面有cpu具体的使用情况,当然在android系统上也还是保留了的。
713 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7359 0
+关注
31
文章
7
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载