【Hello AI】通过Docker安装并使用cGPU服务

cGPU服务可以隔离GPU资源，实现多个容器共用一张GPU卡。该服务作为阿里云容器服务Kubernetes版ACK（Container Service for Kubernetes）的组件对外提供服务，本文介绍如何通过Docker安装并使用cGPU服务。

前提条件

在进行本操作前，请确保GPU实例满足以下要求：

• GPU实例规格为gn7i、gn6i、gn6v、gn6e、gn5i、gn5、ebmgn7i、ebmgn6i、ebmgn7e、ebmgn6e、ebmgn7ex或sccgn7ex。
• GPU实例操作系统为CentOS、Ubuntu或Alibaba Cloud Linux。
• GPU实例已安装418.87.01或更高版本的NVIDIA驱动。
• GPU实例已安装19.03.5或更高版本的Docker。

背景信息

cGPU服务的隔离功能不支持以UVM的方式申请显存，即调用CUDA API cudaMallocManaged()，请使用其他方式申请显存，例如调用cudaMalloc()等。更多信息，请参见NVIDIA官方文档。

安装cGPU服务

无论您是企业认证用户还是个人实名认证用户，推荐您通过ACK的Docker运行时环境安装和使用cGPU服务。具体操作，请参见安装共享GPU调度组件。

运行cGPU服务

影响cGPU服务的环境变量如下表所示，您可以在创建容器时指定环境变量的值，该值可以控制容器通过cGPU服务获得算力。

GPU 0: Tesla T4 (UUID: GPU-b084ae33-e244-0959-cd97-83****)
GPU 1: Tesla T4 (UUID: GPU-3eb465ad-407c-4a23-0c5f-bb****)
GPU 2: Tesla T4 (UUID: GPU-2fce61ea-2424-27ec-a2f1-8b****)
GPU 3: Tesla T4 (UUID: GPU-22401369-db12-c6ce-fc48-d7****)

以ecs.gn6i-c4g1.xlarge为例演示2个容器共用1张显卡。

1. 执行以下命令，创建容器并设置容器内可见的显存。

docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test1 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=6 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test2 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=8 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

说明：该命令以使用TensorFlow镜像nvcr.io/nvidia/tensorflow:19.10-py3为例，请根据实际情况更换为您自己的容器镜像。使用TensorFlow镜像搭建TensorFlow深度学习框架的操作，请参见在GPU实例上部署NGC环境。

本示例中，通过设置环境变量ALIYUN_COM_GPU_MEM_CONTAINER和ALIYUN_COM_GPU_MEM_DEV指定显卡的总显存和容器内可见的显存。命令执行结果是创建了2个容器：

• gpu_test1：分配6 GiB显存。
• gpu_test2：分配8 GiB显存。
• 执行以下命令，查看显存等GPU信息。

本示例中，以gpu_test1为例。

docker exec -i gpu_test1 nvidia-smi

容器gpu_test1中可见的显存为6043 MiB，如下图所示：

查看procfs节点

cGPU服务运行时会在/proc/cgpu_km下生成并自动管理多个procfs节点，您可以通过procfs节点查看和配置cGPU服务相关的信息。下面介绍各procfs节点的用途。

1. 执行以下命令，查看节点信息。

ls /proc/cgpu_km/

执行结果如下所示：

0  default_memsize  inst_ctl  upgrade  version

节点信息说明如下表所示：

2. 执行以下命令查看显卡对应的目录内容。

本示例中，以显卡0为例。

ls /proc/cgpu_km/0

执行结果如下所示：

012b2edccd7a   0852a381c0cf   free_weight    major    max_inst    policy    prio_ratio

目录内容说明如下表所示：

3. 执行以下命令查看容器对应的目录内容。

本示例中，以012b2edccd7a容器为例。

ls /proc/cgpu_km/0/012b2edccd7a

执行结果如下所示：

highprio    id  meminfo  memsize  weight

目录内容说明如下表所示：

Free: 6730809344
PID: 19772 Mem: 200278016

了解procfs节点的用途后，您可以在GPU实例中执行命令进行切换调度策略、修改权重等操作，示例命令如下表所示。

升级cGPU服务

升级cGPU服务支持冷升级和热升级两种方式。

• 冷升级

Docker未使用cGPU服务的情况下，采用冷升级方式升级cGPU服务，操作步骤如下：

1. 执行以下脚本，关闭所有运行中的容器。

docker stop $(docker ps -a | awk '{ print $1}' | tail -n +2)

2. 执行upgrade.sh脚本，升级cGPU服务至最新版本。

sh upgrade.sh

• 热升级

Docker使用cGPU服务的情况下，采用热升级方式升级cGPU服务。

卸载cGPU服务

关于如何卸载节点上旧版本cGPU服务，具体操作，请参见通过命令升级节点cGPU版本。

通过cgpu-smi监控容器

您可以通过cgpu-smi工具查看cGPU容器的相关信息，包括容器ID、GPU利用率、算力限制、使用的显存以及分配显存的总量等信息。

说明：cgpu-smi是cGPU的监控示例。部署k8s时，您可以参考或使用cgpu-smi的示例做二次开发集成。

cgpu-smi的监控展示信息如下所示：

cGPU服务算力调度示例

cGPU服务加载cgpu_km的模块时，会按照容器最大数量（max_inst）为每张显卡设置时间片（X ms），用于为容器分配GPU算力，本示例中以Slice 1、Slice 2...Slice N表示。使用不同调度策略时的调度示例如下所示。

• 平均调度（policy=0）

在创建容器时，为容器分配时间片。cGPU服务会从Slice 1时间片开始调度，提交任务到物理GPU，并执行一个时间片（X ms）的时间，然后切换到下一个时间片。每个容器获得的算力相同，都为1/max_inst。如下图所示。

• 抢占调度（policy=1）

在创建容器时，为容器分配时间片。cGPU服务会从Slice 1开始调度，但如果没有使用某个容器，或者容器内没有进程打开GPU设备，则跳过调度，切换到下一个时间片。

示例如下：

1. 只创建一个容器Docker 1，获得Slice 1时间片，在Docker 1中运行2个TensorFlow进程，此时Docker 1最大获得整个物理GPU的算力。
2. 再创建一个容器Docker 2，获得Slice 2时间片。如果Docker 2内没有进程打开GPU设备，调度时会跳过Docker 2的时间片Slice 2。
3. 当Docker 2内有进程打开GPU设备时，Slice 1和Slice 2都加入调度，Docker 1和Docker 2最大分别获得1/2物理GPU的算力。如下图所示。

4. 权重抢占调度（policy=2）

如果在创建容器时设置ALIYUN_COM_GPU_SCHD_WEIGHT大于1，则自动使用权重抢占调度。cGPU服务按照容器数量（max_inst）将物理GPU算力划分成max_inst份，但如果ALIYUN_COM_GPU_SCHD_WEIGHT大于1，cGPU服务会将数个时间片组合成一个更大的时间片分配给容器。

设置示例如下：

• Docker 1：ALIYUN_COM_GPU_SCHD_WEIGHT=m
• Docker 2：ALIYUN_COM_GPU_SCHD_WEIGHT=n

调度效果如下：

• 如果只有Docker 1运行， Docker 1抢占整个物理GPU的算力。
• 如果Docker 1和Docker 2同时运行，Docker 1和Docker 2获得的理论算力比例是m:n。和抢占调度不同的是，即使Docker 2中没有GPU进程也会占用n个时间片的时间。

说明：m:n设置为2:1和8:4时的运行表现存在差别。在1秒内切换时间片的次数，前者是后者的4倍。

权重抢占调度限制了容器使用GPU算力的理论最大值。但对算力很强的显卡（例如NVIDIA ® V100显卡），如果显存使用的较少，在一个时间片内即可完成计算任务。此时如果m:n值设置为8:4，则剩余时间片内GPU算力会闲置，限制基本失效。

• 固定算力调度（policy=3）

您可以通过指定ALIYUN_COM_GPU_SCHD_WEIGHT和max_inst的占比，固定算力的百分比。

• 算力弱调度（policy=4）

在创建容器时，为容器分配时间片，隔离性弱于抢占调度。更多信息，请参见本文《抢占调度（policy=1）》的相关内容。

• 原生调度（policy=5）

只用来做显存的隔离。原生调度表示NVIDIA GPU驱动本身的调度方式。

算力调度策略支持阿里云所有的异构GPU实例，以及GPU实例所配备的NVIDIA显卡，其型号包含Tesla P4、Tesla P100、Tesla T4、Tesla V100、Tesla A10。以下测试项使用2个容器共享一台单卡A10的GPU实例，并将2个容器的算力比设置为1:2，将显存均分，每个容器的显存为12 G。

说明：以下性能测试结果数据为实验室数据，仅供参考。

• 测试项1： 在基于TensorFlow框架训练的ResNet50模型、精度为FP16的场景下，测试不同batch_size下的性能数据比较。结果如下所示：

• 测试项2：在基于TensorRT框架训练的ResNet50模型、精度为FP16的场景下，测试不同batch_size下的性能数据比较。结果如下所示：

从上述实际测试结果可以看出，基于不同框架下的性能结果接近1:2，调度策略算法能够支持Ampere系列显卡。以下测试以其它系列显卡T4和P4为例，基于TensorFlow框架推理ResNet50模型，实测性能结果同样接近1:2。

综合以上不同场景，不同算力的GPU显卡测试数据，使用cGPU能够指定每个容器的算力大小，限制了多容器之间的争抢，从而保障高优先级的容器获得更多的算力。算力调度算法能够支持Ampere、Volta、Turing以及Pascal等多种NVIDIA GPU架构，可以为企业客户定制适合实际场景的调度策略。

cGPU服务多卡划分示例

本示例以设置4卡为例，设置0卡为3 G、1卡为4 G、2卡为5 G、3卡为6 G。多卡划分示例代码如下所示：

docker run -d -t --runtime=nvidia  --name gpu_test0123 --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=3,4,5,6 -e ALIYUN_COM_GPU_MEM_DEV=23 -e NVIDIA_VISIBLE_DEVICES=0,1,2,3 nvcr.io/nvidia/tensorflow:21.03-tf1-py3
docker exec -i gpu_test0123   nvidia-smi

执行结果显示如下，您可以看到4卡显存详情。

多卡设置显存参数（即ALIYUN_COM_GPU_MEM_CONTAINER参数）说明如下所示：

好啦！小弹的分享到此为止。我们更欢迎您分享您对阿里云产品的设想、对功能的建议或者各种吐槽，请扫描提交问卷并获得社区积分或精美礼品一份。https://survey.aliyun.com/apps/zhiliao/P4y44bm_8

【扫码填写上方调研问卷】

欢迎每位来到弹性计算的开发者们来反馈问题哦~