0. 前言
CGroups(Control Groups)是Linux内核的一个资源隔离功能，限制/隔离/统计进程的资源使用，包括CPU/内存/磁盘IO/网络等资源。
YARN中也集成了CGroups的功能，使得NodeManger可以对container的CPU的资源使用进行控制，比如可以对单个container的CPU使用进行控制，也可以对NodeManger管理的总CPU进行控制。
1. YARN开启CGroups功能
E-MapReduce集群中的YARN默认没有开启CGroups的功能，需要用户根据需求进行开启，下面介绍如何在E-MapReduce集群中开启CGroups。
1.1 umount cgroups cpu
E-MapReduce集群使用的是Centos7的操作系统，默认CGroups的cpu和cpuacct两个子系统控制器(SubSystem Controller)合并到一起，mount的路径在/sys/fs/cgroup/cpu,cpuacct。
由于NodeManger在launch container的时候，有个CGroups路径逻辑会以逗号进行解析分隔，所以会造成/sys/fs/cgroup/cpu,cpuacct被错误的解析出/sys/fs/cgroup/cpu，从而导致container启动失败。所以需要避免cpu控制器的mount路径出现逗号，我们需要将默认的mount路径umount掉，然后后续可以交给NodeManger去自动mount到另外一个可配置的路径。
集群上所有节点执行
#umount原来默认路径
umount /sys/fs/cgroup/cpu,cpuacct
#创建新的cpu控制器mount路径
mkdir -p /cgroup/cpu1.2 配置YARN
可参考官方文档Using CGroups with YARN
添加CGroups配置
在E-MapReduce的集群配置管理页面下的YARN的yarn-site中添加如下配置:
| 配置名称 | 值 | 备注 |
|---|---|---|
| yarn.nodemanager.container-executor.class | org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor | 无 |
| yarn.nodemanager.linux-container-executor.resources-handler.class | org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler | 无 |
| yarn.nodemanager.linux-container-executor.group | hadoop | 跟/etc/ecm/hadoop-conf/container-executor.cfg文件中yarn.nodemanager.linux-container-executor.group对应的值保持一致 |
| yarn.nodemanager.linux-container-executor.cgroups.mount-path | /cgroup | 1.1节中新建的CGroups路径，不需要加上/cpu，YARN会自动在该路径后补上/cpu，即/cgroup/cpu |
| yarn.nodemanager.linux-container-executor.cgroups.mount | true | 1.1节umount原来的路径后，只是新建了一个新路径/cgroup/cpu，并未mount上cpu控制器，所以这地方需设置为true让YARN去做mount操作 |
选择添加其它配置
除了上述开启CGroups功能相关的参数外，还有相关参数可以选择设置(针对非Kerberos安全集群)。
| 配置名称 | 值 | 备注 |
|---|---|---|
| yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user | 建议不做设置，默认是nobody | |
| yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users | false | 设置为false，即以实际提交作业的用户跑作业，否则会使用上面local-user的固定用户来运行作业 |
1.3 重启YARN
添加完上述配置后，在E-MapReduce集群配置管理下的重启YARN集群。
2. YARN中CGroups对CPU控制测试
2.1 控制参数
在开启了CGroups功能的前提下，可以通过调节YARN中的参数来控制CPU的资源使用行为:
| 配置名称 | 描述 |
|---|---|
| yarn.nodemanager.resource.percentage-physical-cpu-limit | NodeManager管理的所有container使用CPU的硬性比例，默认100% |
| yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage | 对container的CPU使用资源是否严格按照被分配的比例进行控制，即使CPU还有空闲。默认是false，即container可以使用空闲CPU |
备注:
任何场景下，NodeManger管理的container的CPU都不能超过yarn.nodemanager.resource.percentage-physical-cpu-limit比例。
2.2 测试
2.2.1 总container的CPU控制测试
通过调节yarn.nodemanager.resource.percentage-physical-cpu-limit参数来控制NodeManager管理的所有container的CPU使用。
下面分别设置该值为10/30/50为例，在yarn中跑一个hadoop pi作业，观察NodeManger所在机器的cpu耗费情况。
集群配置为3台4核16GB，其中2台NodeManger，1台ResourceManager
备注
top命令中
%CPU表示进程占用单个核的比例
%Cpu(s)表示所有用户进程占总cpu的比例
10
如上图所示:
%Cpu(s)接近10%
%CPU所有的test用户的container进程加起来(7%+5.3%+5%+4.7%+4.7%+4.3%+4.3%+4%+2%=41.3%=0.413个核,约等于10%*4core，即4个核的10%比例)
30
如上图所示:
%Cpu(s)接近30%
%CPU所有的test用户的container进程加起来(19%+18.3%+18.3%+17%+16.7%+16.3%+14.7%+12%=132.3%=1.323个核,约等于30%*4core=1.2核，即4个核的30%比例)
50
如上图所示:
%Cpu(s)接近50%
%CPU所有的test用户的container进程加起来(65.1%+60.1%+43.5%+20.3%+3.7%+2%=194.7%=1.947个核,约等于50%*4core=2核，即4个核的50%比例)
2.2.2 container间的CPU控制测试
NodeManger上面启动多个container，所有这些container对CPU资源的占用不超过2.2.1中设置yarn.nodemanager.resource.percentage-physical-cpu-limit的硬性比例上限。
在硬性上限前提下，NodeManger有两种方式来管理控制多个container之间的CPU使用率，这两种方式通过参数yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage来进行控制。
- 共享模式(share)
当yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage设置为false时即为共享模式(默认为false)。
在这种模式下，container除了实际被需要分配的CPU资源外，还可以利用空闲的CPU资源。
例如如果一个container的vcore为1，NodeManger配置的vcore为8，yarn.nodemanager.resource.percentage-physical-cpu-limit设置为50%，NodeManger所在节点是4core，那么该container申请按比例被分配的cpu资源为(1vcore/8vcore)(4core50%)=0.25core，但是如果CPU有空闲，理论上该container可以占满NodeManger管理的上限(4core*50%=2core)
以上述2.2.1节中hadoop pi为例:yarn.nodemanager.resource.percentage-physical-cpu-limit=50yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage=false
上图可以看出，test用户的多个container进程占用CPU核数的比例相差很大(65%=0.65core 60.1%=0.61core 3.7%=0.37core等)，即单个container的CPU使用没有被严格限制在(1vcore/8vcore)(4core50%)=0.25core
- 严格模式(strict)
当yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage设置为true时即为严格模式。
在这种模式下，container只能使用被需要分配的CPU资源，即使CPU有空闲也不能使用。
以上述共享模式同样参数作业为例，只是将该参数改为true:yarn.nodemanager.resource.percentage-physical-cpu-limit=50yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage=true
如上图所示，test账号下的每个container占用的CPU核数均在0.25core附近(26.6%=0.266core 24.9%=0.249core)，而0.25core即为该container实际应该被分配的CPU((1vcore/8vcore)(4core50%)=0.25core)
有兴趣或者有需求的用户可以关注一下E-MapReduce的安全相关的功能，有问题及时联系和反馈。
