NVIDIA GPU Operator分析五:GPU Feature Discovery安装-阿里云开发者社区

开发者社区> 阿里云SAP上云> 正文
登录阅读全文

NVIDIA GPU Operator分析五:GPU Feature Discovery安装

简介: 背景我们知道,如果在Kubernetes中支持GPU设备调度,需要做如下的工作:节点上安装nvidia驱动节点上安装nvidia-docker集群部署gpu device plugin,用于为调度到该节点的pod分配GPU设备。除此之外,如果你需要监控集群GPU资源使用情况,你可能还需要安装DCCM exporter结合Prometheus输出GPU资源监控信息。要安装和管理这么多的组件,对于运维

背景

我们知道,如果在Kubernetes中支持GPU设备调度,需要做如下的工作:

  • 节点上安装nvidia驱动
  • 节点上安装nvidia-docker
  • 集群部署gpu device plugin,用于为调度到该节点的pod分配GPU设备。

除此之外,如果你需要监控集群GPU资源使用情况,你可能还需要安装DCCM exporter结合Prometheus输出GPU资源监控信息。

要安装和管理这么多的组件,对于运维人员来说压力不小。基于此,NVIDIA开源了一款叫NVIDIA GPU Operator的工具,该工具基于Operator Framework实现,用于自动化管理上面我们提到的这些组件。

NVIDIA GPU Operator有以下的组件构成:

  • 安装nvidia driver的组件
  • 安装nvidia container toolkit的组件
  • 安装nvidia devcie plugin的组件
  • 安装nvidia dcgm exporter组件
  • 安装gpu feature discovery组件

本系列文章不打算一上来就开始讲NVIDIA GPU Operator,而是先把各个组件的安装详细的分析一下,然后手动安装这些组件,最后再来分析NVIDIA GPU Operator就比较简单了。

在本篇文章中,我们将介绍NVIDIA GPU Operator安装GPU Feature Discovery组件。

GPU Feature Discovery介绍

GPU Feature Discovery这个组件主要的作用是给GPU节点打上一些与GPU设备属性相关的标签,比如:该节点的GPU驱动是哪个版本,GPU显存是多大等,其效果是节点拥有很多以"nvidia.com"开头的标签。

$ kubectl get nodes cn-beijing.192.168.8.44 -o yaml | grep nvidia.com | grep -v "feature-labels"
    nvidia.com/cuda.driver.major: "450"
    nvidia.com/cuda.driver.minor: "102"
    nvidia.com/cuda.driver.rev: "04"
    nvidia.com/cuda.runtime.major: "11"
    nvidia.com/cuda.runtime.minor: "0"
    nvidia.com/gfd.timestamp: "1616729805"
    nvidia.com/gpu.compute.major: "7"
    nvidia.com/gpu.compute.minor: "0"
    nvidia.com/gpu.count: "1"
    nvidia.com/gpu.family: volta
    nvidia.com/gpu.machine: Alibaba-Cloud-ECS
    nvidia.com/gpu.memory: "16160"
    nvidia.com/gpu.present: "true"
    nvidia.com/gpu.product: Tesla-V100-SXM2-16GB
    nvidia.com/mig.strategy: single
    nvidia.com/gpu: "1"
    nvidia.com/gpu: "1"

打上这些标签的主要作用是在之后的任务调度中,可以根据这些标签将任务调度到指定节点上。

集群部署GPU Feature Discovery组件

接下来演示一下如何在集群中部署GPU Feature Discovery组件。

前提条件

  • k8s集群的版本 > 1.8。
  • 集群中的GPU节点已经安装了GPU驱动,如果没有安装驱动,请参考本系列文章《NVIDIA GPU Operator分析一:NVIDIA驱动安装》。
  • 集群中的GPU节点已经安装NVIDIA Container Toolkit,如果没有安装,请参考本系列文章《NVIDIA GPU Operator分析二:NVIDIA Container Toolkit安装》。
  • 集群中的GPU节点已经安装NVIDIA Device Plugin,如果没有安装,请参考本系列文章《NVIDIA GPU Operator分析三:NVIDIA Device Plugin安装》。

安装步骤

1.下载gpu-operator源码。

$ git clone -b 1.6.2 https://github.com/NVIDIA/gpu-operator.git
$ cd gpu-operator
$ export GPU_OPERATOR=$(pwd) 

2.确认节点已经打了标签nvidia.com/gpu.present=true。

$ kubectl get nodes -L nvidia.com/gpu.present
NAME                       STATUS   ROLES    AGE   VERSION            GPU.PRESENT
cn-beijing.192.168.8.44    Ready    <none>   13d   v1.16.9-aliyun.1   true
cn-beijing.192.168.8.45    Ready    <none>   13d   v1.16.9-aliyun.1   true
cn-beijing.192.168.8.46    Ready    <none>   13d   v1.16.9-aliyun.1   true
cn-beijing.192.168.9.159   Ready    master   13d   v1.16.9-aliyun.1
cn-beijing.192.168.9.160   Ready    master   13d   v1.16.9-aliyun.1
cn-beijing.192.168.9.161   Ready    master   13d   v1.16.9-aliyun.1

3.删除不用的yaml。

$ rm -rf assets/gpu-feature-discovery/*openshift*

4.修改assets/gpu-feature-discovery/0500_daemonset.yaml中的镜像。

  • 将container gpu-feature-discovery的镜像修改为nvcr.io/nvidia/gpu-feature-discovery:v0.4.1。
    spec:
      serviceAccount: nvidia-gpu-feature-discovery
      containers:
        - image: "nvcr.io/nvidia/gpu-feature-discovery:v0.4.1"
          name: gpu-feature-discovery

5.部署gpu-feature-discovery组件。

$ kubectl apply -f assets/gpu-feature-discovery

6.查看组件的pod是否处于Running状态。

$ kubectl get po  -n gpu-operator-resources -l app=gpu-feature-discovery
NAME                          READY   STATUS    RESTARTS   AGE
gpu-feature-discovery-49css   1/1     Running   0          96s
gpu-feature-discovery-k4nlp   1/1     Running   0          96s
gpu-feature-discovery-lx46x   1/1     Running   0          96s

7.查看其中一个pod的日志。

$ kubectl logs gpu-feature-discovery-49css -n gpu-operator-resources
gpu-feature-discovery: 2021/03/31 12:58:46 Running gpu-feature-discovery in version v0.4.1
gpu-feature-discovery: 2021/03/31 12:58:46 Loaded configuration:
gpu-feature-discovery: 2021/03/31 12:58:46 Oneshot: false
gpu-feature-discovery: 2021/03/31 12:58:46 FailOnInitError: true
gpu-feature-discovery: 2021/03/31 12:58:46 SleepInterval: 1m0s
gpu-feature-discovery: 2021/03/31 12:58:46 MigStrategy: single
gpu-feature-discovery: 2021/03/31 12:58:46 NoTimestamp: false
gpu-feature-discovery: 2021/03/31 12:58:46 OutputFilePath: /etc/kubernetes/node-feature-discovery/features.d/gfd
gpu-feature-discovery: 2021/03/31 12:58:46 Start running
gpu-feature-discovery: 2021/03/31 12:58:46 Writing labels to output file
gpu-feature-discovery: 2021/03/31 12:58:46 Sleeping for 1m0s
gpu-feature-discovery: 2021/03/31 12:59:46 Writing labels to output file
gpu-feature-discovery: 2021/03/31 12:59:46 Sleeping for 1m0s
gpu-feature-discovery: 2021/03/31 13:00:46 Writing labels to output file
gpu-feature-discovery: 2021/03/31 13:00:46 Sleeping for 1m0s

8.查看GPU节点是否被打上以nvidia.com开头的标签。

(1)查看集群节点:

$ kubectl get nodes
NAME                       STATUS   ROLES    AGE   VERSION
cn-beijing.192.168.8.44    Ready    <none>   18d   v1.16.9-aliyun.1
cn-beijing.192.168.8.45    Ready    <none>   18d   v1.16.9-aliyun.1
cn-beijing.192.168.8.46    Ready    <none>   18d   v1.16.9-aliyun.1
cn-beijing.192.168.9.159   Ready    master   19d   v1.16.9-aliyun.1
cn-beijing.192.168.9.160   Ready    master   19d   v1.16.9-aliyun.1
cn-beijing.192.168.9.161   Ready    master   19d   v1.16.9-aliyun.1

(2)以cn-beijing.192.168.8.45为例,查看其标签:

$ kubectl get nodes cn-beijing.192.168.8.44 -o yaml  | grep -v feature-labels |  grep nvidia.com
    nvidia.com/cuda.driver.major: "450"
    nvidia.com/cuda.driver.minor: "102"
    nvidia.com/cuda.driver.rev: "04"
    nvidia.com/cuda.runtime.major: "11"
    nvidia.com/cuda.runtime.minor: "0"
    nvidia.com/gfd.timestamp: "1616729805"
    nvidia.com/gpu.compute.major: "7"
    nvidia.com/gpu.compute.minor: "0"
    nvidia.com/gpu.count: "1"
    nvidia.com/gpu.family: volta
    nvidia.com/gpu.machine: Alibaba-Cloud-ECS
    nvidia.com/gpu.memory: "16160"
    nvidia.com/gpu.present: "true"
    nvidia.com/gpu.product: Tesla-V100-SXM2-16GB
    nvidia.com/mig.strategy: single
    nvidia.com/gpu: "1"
    nvidia.com/gpu: "1"

可以看到,节点已经打上了与GPU设备属性相关的标签。 

总结

本篇文章主要演示了如何在集群中手动安装GPU Feature Discovery组件,至此NVIDIA GPU Operator所涉及的所有组件我们都手动安装了一遍。在本系列文章的下一篇文章中,我们将从源码的角度分析NVIDIA GPU Operator是怎么实现的。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: