yarn和k8s(kubernetes)混合部署初步方案（利用cgroup资源限制）

版本

yarn 2.6.0

k8s v1.15.2

背景

随着k8s的越来越火热以及k8s的可扩展以及自修复优势，k8s势必是互联网的优势，但是很大一部分公司的资源管理工具依旧是yarn，而且yarn和k8s也必然并行很久一段时间，

但是由于yarn的隔离型相对于k8s来说还是很弱的，好在yarn 2.6.0版本也集成了LinuxContainerExecutor（默认是DefaultContainerExecutor），也就是说yarn在好长一段时间是不支持cpu限制的，LinuxContainerExecutor的利用了cgroup来进行cpu的限制，而memory的隔离是在利用container进行隔离。

我们知道对于多种资源管理工具的混合部署来说，资源的争夺必定是存在的。分析一下k8s，k8s默认是支持docker runtime的，也就是说k8s在支持docker的情况下，是利用docke进行资源隔离的，而docker是利用了liunx 的namespace进行隔离，用cgroup进行资源限制。而相对于yarn，只需要修改配置文件就行。

具体实施以及配置

k8s

对于k8s来说，按照k8s官网，我们把docker cgroups的驱动修改为systemd。具体修改方式参照官网：

# Set up the Docker daemon
cat <<EOF | sudo tee /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF

修改完后重启docker，运行docker info会打印出

...
Cgroup Driver: systemd
...

说明设置成功。

关于cgroup的两种驱动cgroupfs和sysmted的区别：
cgroupfs是直接把pid写入对应的cgroup文件，然后把对应的资源限制也写入相应的cpu memory的cgroup文件。
systemd本身可以提供一个cgroup的管理方式。直接在service的文件中写入对应的资源限制就可以

另外我们得设置dockerd的cgroup-parent和yarn在同一个目录下，这样才能达到yarn和k8s按照配置文件进行资源的分配和管理

按照dockerd官网

直接运行

dockerd --cgroup-parent /path/to/cgroup

yarn

yarn配置支持cpu的限制网上很多资料。如这里关于yarn的linuxcontainerExecutor的jira，参考这里

注意一下这个配置：

<property>
  <name>yarn.nodemanager.linux-container-executor.cgroups.mount-path</name>
  <value>/sys/fs/cgroup<value>
</property>

这个配置最好和docker的–cgroup-parent一致，这样才能更好的管理和控制资源