背景
我们知道，如果在Kubernetes中支持GPU设备调度，需要做如下的工作：
-
节点上安装nvidia驱动
-
节点上安装nvidia-docker
-
集群部署gpu device plugin，用于为调度到该节点的pod分配GPU设备。
除此之外，如果你需要监控集群GPU资源使用情况，你可能还需要安装DCCM exporter结合Prometheus输出GPU资源监控信息。
要安装和管理这么多的组件，对于运维人员来说压力不小。基于此，NVIDIA开源了一款叫NVIDIA GPU Operator的工具，该工具基于Operator Framework实现，用于自动化管理上面我们提到的这些组件。
NVIDIA GPU Operator有以下的组件构成：
-
安装nvidia driver的组件
-
安装nvidia container toolkit的组件
-
安装nvidia devcie plugin的组件
-
安装nvidia dcgm exporter组件
-
安装gpu feature discovery组件
本系列文章不打算一上来就开始讲NVIDIA GPU Operator，而是先把各个组件的安装详细的分析一下，然后手动安装这些组件，最后再来分析NVIDIA GPU Operator就比较简单了。
在本篇文章中，我们将介绍NVIDIA GPU Operator安装NVIDIA Device Plugin的原理。
NVIDIA Device Plugin介绍
本小节简单的介绍一下什么是NVIDIA Device Plugin（如果需要更详细的了解k8s device plugin机制，请参考网上其他文档）。在介绍NVIDIA Container Toolkit时，我们提到过，当启动docker容器时，可以通过环境变量指定容器所需的GPU，例如：
$ docker run -d --name gpu-test -e NVIDIA_VISIBLE_DEVICES=0,1 centos:7 sleep 5000但是在Kubernetes集群中应该如何给一个应用指定使用GPU呢？可以通过给pod的容器指定环境变量NVIDIA_VISIBLE_DEVICES实现吗？可以，但是这样做有一些问题：
-
因为kubernetes集群中有很多节点，每个节点的GPU数量可能不同，假设指定pod的容器的环境变量为”“NVIDIA_VISIBLE_DEVICES=3,4”，但是pod调度到节点是随机的，最终pod所在的节点如果只有一张GPU卡，那么pod将启动失败。
-
直接在pod的容器中指定环境变量NVIDIA_VISIBLE_DEVICES，用户无法维护哪些节点的哪些GPU已经使用，哪些未使用。
Kubernetes从1.8开始支持设备插件机制，只要用户实现与设备相对应的device plugin，然后在pod提交时指定需要使用多少个设备，kubernetes就能为pod自动挂载设备并且维护节点上设备状态（即哪些设备已使用，哪些设备未使用）。
NVIDIA Device Plugin的工作原理简单的概况为：
-
pod spec中的resources.limits字段写入运行该pod需要多少个GPU设备，像下面这样：
kind: Pod
metadata:
name: gpu-pod
spec:
containers:
- name: gpu-container-1
image: centos:7
resources:
limits:
nvidia.com/gpu: 2 # 代表为该Pod申请了2个GPU。-
每个节点的kubelet组件维护该节点的GPU设备状态（哪些已用，哪些未用）并定时报告给调度器，调度器知道每一个节点有多少张GPU卡可用。
-
调度器为pod选择节点时，从符合条件的节点中选择一个节点。
-
当pod调度到节点上后，kubelet组件为pod分配GPU设备ID，并将这些ID作为参数传递给NVIDIA Device Plugin
-
NVIDIA Device Plugin将分配给该pod的容器的GPU设备ID写入到容器的环境变量NVIDIA_VISIBLE_DEVICES中，然后将信息返回给kubelet。
-
kubelet启动容器。
-
NVIDIA Container Toolkit检测容器的spec中存在环境变量NVIDIA_VISIBLE_DEVICES，然后根据环境变量的值将GPU设备挂载到容器中。
在集群中部署NVIDIA Device Plugin
接下来演示一下怎样在集群中部署nvidia device plugin。
前提条件
在进行操作之前，请确认下面的条件是否满足：
-
集群的版本 > 1.8。
-
集群中的GPU节点已经安装了GPU驱动，如果没有安装驱动，请参考本系列文件中关于NVIDIA驱动的安装。
-
集群中的GPU节点已经安装NVIDIA Container Toolkit，如果没有安装，请参考本系列文件中关于NVIDIA Container Toolkit的安装。
安装步骤
1.下载gpu-operator源码。
$ git clone -b 1.6.2 https://github.com/NVIDIA/gpu-operator.git
$ cd gpu-operator
$ export GPU_OPERATOR=$(pwd) 2.确认节点已经打了标签nvidia.com/gpu.present=true。
$ kubectl get nodes -L nvidia.com/gpu.present
NAME STATUS ROLES AGE VERSION GPU.PRESENT
cn-beijing.192.168.8.44 Ready <none> 13d v1.16.9-aliyun.1 true
cn-beijing.192.168.8.45 Ready <none> 13d v1.16.9-aliyun.1 true
cn-beijing.192.168.8.46 Ready <none> 13d v1.16.9-aliyun.1 true
cn-beijing.192.168.9.159 Ready master 13d v1.16.9-aliyun.1
cn-beijing.192.168.9.160 Ready master 13d v1.16.9-aliyun.1
cn-beijing.192.168.9.161 Ready master 13d v1.16.9-aliyun.13.修改assets/state-device-plugin/0300_rolebinding.yaml，注释两个字段，否则无法提交：
-
将userNames这一行和其后面的一行注释。
#userNames:
#- system:serviceaccount:gpu-operator:nvidia-device-plugin-
将roleRef.namespace这一行注释。
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: Role
name: nvidia-device-plugin
# namespace: gpu-operator-resources4.修改assets/state-device-plugin/0400_device_plugin.yml，填入正确的镜像。
-
更改container nvidia-device-plugin-ctr的镜像为nvcr.io/nvidia/k8s-device-plugin:v0.8.2-ubi8。
containers:
- image: "nvcr.io/nvidia/k8s-device-plugin:v0.8.2-ubi8"
name: nvidia-device-plugin-ctr
securityContext:
privileged: true-
更改initContainer toolkit-validation的镜像为nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda10.2。
initContainers:
- name: toolkit-validation
image: "nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda10.2"
command: ['sh', '-c']
args: ["/tmp/vectorAdd"]
securityContext:
privileged: true5.部署device plugin。
$ kubectl apply -f assets/state-device-plugin6.查看pod是否已经处于running。
$ kubectl get po -n gpu-operator-resources -l app=nvidia-device-plugin-daemonset
NAME READY STATUS RESTARTS AGE
nvidia-device-plugin-daemonset-kllvw 1/1 Running 0 78s
nvidia-device-plugin-daemonset-lxdl6 1/1 Running 0 78s
nvidia-device-plugin-daemonset-pwqb4 1/1 Running 0 78s7.查看pod日志。
$ kubectl logs nvidia-device-plugin-daemonset-kllvw -n gpu-operator-resources --tail=20
2021/03/26 07:11:02 Loading NVML
2021/03/26 07:11:02 Starting FS watcher.
2021/03/26 07:11:02 Starting OS watcher.
2021/03/26 07:11:02 Retreiving plugins.
2021/03/26 07:11:02 Starting GRPC server for 'nvidia.com/gpu'
2021/03/26 07:11:02 Starting to serve 'nvidia.com/gpu' on /var/lib/kubelet/device-plugins/nvidia-gpu.sock
2021/03/26 07:11:02 Registered device plugin for 'nvidia.com/gpu' with Kubelet验证
为了验证集群节点的GPU是否可用，可以提交一个tensorfolw任务（该任务申请了一个GPU，即nvidia.com/gpu: 1），任务的yaml如下：
$ cat /tmp/gpu-test.yaml
apiVersion: v1
kind: Pod
metadata:
name: test-gpu
labels:
test-gpu: "true"
spec:
containers:
- name: training
image: registry.cn-beijing.aliyuncs.com/ai-samples/tensorflow:1.5.0-devel-gpu
command:
- python
- tensorflow-sample-code/tfjob/docker/mnist/main.py
- --max_steps=300
- --data_dir=tensorflow-sample-code/data
resources:
limits:
nvidia.com/gpu: 1
workingDir: /root
restartPolicy: Never1.提交任务。
$ kubectl apply -f /tmp/gpu-test.yaml2.查看pod是否处于Running。
$ kubectl get po -l test-gpu=true
NAME READY STATUS RESTARTS AGE
test-gpu 1/1 Running 0 2m54s3.查看pod日志。
$ kubectl logs test-gpu --tail 10
Accuracy at step 220: 0.9288
Accuracy at step 230: 0.936
Accuracy at step 240: 0.9393
Accuracy at step 250: 0.9405
Accuracy at step 260: 0.9409
Accuracy at step 270: 0.9428
Accuracy at step 280: 0.9399
Accuracy at step 290: 0.9408
Adding run metadata for 299
Total Train-accuracy=0.9408说明各个组件（nvidia driver,nvidia container toolkit, nvidia device plugin）能够正常工作。
总结
本篇文章简单介绍了nvidia device plugin并尝试在k8s集群中以daemonset方式部署nvidia device plugin，最后通过运行一个tensorflow任务验证nvidia device plugin是否正常工作。
