阿里云容器服务共享GPU调度支持算力分配

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: ACK Pro集群支持为应用申请GPU显存和算力,能够帮助您更精细化的使用GPU的显存和算力资源。本文介绍如何使用算力分配功能。前提条件已创建ACK Pro版集群,且集群版本为1.20.11。关于Kubernetes的升级操作,请参见升级ACK集群K8s版本。已安装共享GPU组件,且Chart版本>1.2.0。关于安装共享GPU组件的具体操作,请参见安装并使用共享GPU组件和资源工具。cGP

ACK Pro集群支持为应用申请GPU显存和算力,能够帮助您更精细化的使用GPU的显存和算力资源。本文介绍如何使用算力分配功能。

前提条件

  • 已创建ACK Pro版集群,且集群版本为1.20.11。关于Kubernetes的升级操作,请参见 升级ACK集群K8s版本
  • 已安装共享GPU组件,且Chart版本>1.2.0。关于安装共享GPU组件的具体操作,请参见 安装并使用共享GPU组件和资源工具
  • cGPU版本≥1.0.6。关于cGPU的升级操作,请参见 升级节点cGPU版本
  • 目前cgpu不兼容5xx系列的GPU驱动(以5开头的驱动,例如: 510.47.03 )。

使用限制

  • cGPU服务的隔离功能不支持以UVM的方式申请显存,即调用CUDA API cudaMallocManaged(),有关该方式的更多信息,请参见NVIDIA官方文档。请使用其他方式申请显存,例如调用cudaMalloc()等。
  • 共享GPU调度目前支持 仅申请显存 同时申请显存和算力 两种任务,这两种任务不能同时存在于一个节点上,即一个节点只运行 仅申请显存 的任务,或者只运行 同时申请显存和算力 的任务。
  • 为任务申请算力时,有如下限制:
  • 每一张GPU提供的算力按100计量,代表这张卡的100%算力,例如申请20代表使用GPU卡的20%算力。
  • 申请的算力值应为5的倍数,最小为5。如果不为5的倍数,任务将一直处于Pending。
  • 目前只有以下地域支持GPU显存算力分配功能。如果您需要使用该功能,请确保集群所在地域在此范围内。

地域

地域ID

华北2(北京)

cn-beijing

华东2(上海)

cn-shanghai

华东1(杭州)

cn-hangzhou

华北(张家口)

cn-zhangjiakou

华南1(深圳)

cn-shenzhen

西南1(成都)

cn-chengdu

华南2(河源)

cn-heyuan

中国(香港)

cn-hongkong

印度尼西亚(雅加达)

ap-southeast-5

新加坡

ap-southeast-1

美国(弗吉尼亚)

us-east-1

美国(硅谷)

us-west-1

日本(东京)

ap-northeast-1

  • 共享GPU调度支持算力分配的调度器于2022年3月1日上线,在此之后创建的集群将使用新版本调度器,但是在此之前已有集群的调度器不会自动升级到新版本,需要您手动进行操作。若您的集群创建时间早于2022年3月1日,请按照如下操作进行处理:
  1. 提交工单 申请新版共享GPU调度内测。
  2. 卸载旧版共享GPU组件。如果已安装旧版共享GPU组件(仅支持显存共享,Chart版本≤1.2.0),请按照以下步骤进行处理。
    1. 在控制台左侧导航栏中,单击 集群
    2. 集群列表 页面中,单击目标集群名称或者目标集群右侧 操作 列下的 详情
    3. 在集群管理页左侧导航栏中,选择 应用 > Helm
    4. Helm 页面,单击ack-ai-installer右侧 操作 列下方的 删除
    5. 在弹出的 删除应用 对话框,单击 确定
  1. 安装新版共享GPU组件。具体操作,请参见 安装并使用共享GPU组件和资源工具

创建支持算力分配的节点池

  1. 在控制台左侧导航栏中,单击 集群
  2. 集群列表 页面中,单击目标集群名称或者目标集群右侧 操作 列下的 详情
  3. 在集群管理页左侧导航栏中,选择 节点管理 > 节点池
  4. 节点池 页面右侧,单击 创建节点池 。部分参数配置说明如下,关于配置项的详细说明,请参见 节点池配置

注意 如果您需要将集群中已存在的GPU节点切换为算力隔离模式,请先将该节点从集群中移除,然后重新加入支持算力隔离的节点池。不支持直接使用kubectl label nodes <NODE_NAME> ack.node.gpu.schedule=core_mem命令将该GPU节点切换为算力隔离模式。

配置项

说明

节点池名称

设置节点池名称。本文配置为gpu-core

期望节点数

设置节点池初始节点数量。若您不需要创建节点,请填写为0

操作系统

操作系统仅支持CentOS 7.x和Alibaba Cloud Linux 2.x。

ECS标签

为ECS实例添加标签。

自定义资源组

指定节点池所扩容节点的资源组信息。

节点标签

为集群节点添加标签。本文配置如下,关于节点标签的更多信息,请参见ACK调度GPU使用的节点标签说明

  • 开启节点GPU显存和算力隔离能力:单击 ,输入第一个节点标签的 ack.node.gpu.schedule core_mem
  • 在节点上使用Binpack算法为Pod选择GPU卡:单击 ,输入第二个节点标签的 ack.node.gpu.placement binpack

使用算力分配

支持算力分配的节点池创建完成后,在该节点池扩容1个节点。同时,为了做对比,在集群中准备一个支持申请独占GPU资源的节点,两个节点上的GPU卡型号一致(本示例中两个节点的卡型号均为Tesla-V100-SXM2-32GB)。集群节点如下:

# kubectl get nodes
NAME                        STATUS   ROLES    AGE    VERSION
cn-beijing.192.168.10.163   Ready    <none>   150m   v1.20.11-aliyun.1
cn-beijing.192.168.10.164   Ready    <none>   150m   v1.20.11-aliyun.1

其中:

  • cn-beijing.192.168.10.163:未开启共享GPU调度的节点,支持按卡的维度申请GPU资源,该节点用来做对照。使用“kubectl get nodes cn-beijing.192.168.10.163 -o yaml”可以查看其拥有的GPU资源:
status:
  ...... // 省略其他内容
  allocatable:
    ......  // 省略其他内容
    nvidia.com/gpu: "1" 节点拥有1张GPU卡
    ......
  • cn-beijing.192.168.10.164:开启共享GPU调度的节点,且支持显存和算力申请,使用“kubectl get nodes cn-beijing.192.168.10.164 -o yaml”可以查看其拥有的GPU资源:
...... // 省略其他
status:
......
  allocatable:
    aliyun.com/gpu-core.percentage: "100" # 节点拥有的总的算力份数为100份
    aliyun.com/gpu-mem: "31" # 节点拥有的总的显存为31GiB

为了验证算力分配的有效性,本次示例将在两个节点上运行同一个GPU应用,观察它们的GPU利用率是否有差别。本次示例选择的GPU应用为tensorflow benchmark项目。

两个任务的相关信息如下:

任务名称

运行的节点

GPU资源申请

tensorflow-benchmark-exclusive

cn-beijing.192.168.10.163

1张GPU卡

tensorflow-benchmark-share

cn-beijing.192.168.10.164

10GiB显存和1张卡的30%算力

tensorflow-benchmark-exclusive的yaml如下:

apiVersion: batch/v1
kind: Job
metadata:
  name: tensorflow-benchmark-exclusive
spec:
  parallelism: 1
  template:
    metadata:
      labels:
        app: tensorflow-benchmark
    spec:
      containers:
      - name: tensorflow-benchmark
        image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
        command:
        - bash
        - run.sh
        - --num_batches=50000
        - --batch_size=8
        resources:
          limits:
            nvidia.com/gpu: 1 # 申请1张GPU卡
        workingDir: /root
      restartPolicy: Never

tensorflow-benchmark-share的yaml如下:

apiVersion: batch/v1
kind: Job
metadata:
  name: tensorflow-benchmark-share
spec:
  parallelism: 1
  template:
    metadata:
      labels:
        app: tensorflow-benchmark
    spec:
      containers:
      - name: tensorflow-benchmark
        image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
        command:
        - bash
        - run.sh
        - --num_batches=50000
        - --batch_size=8
        resources:
          limits:
            aliyun.com/gpu-mem: 10  # 申请10GiB显存
            aliyun.com/gpu-core.percentage: 30 # 申请整张卡30%算力 
        workingDir: /root
      restartPolicy: Never

两个Job除了申请的GPU资源不一样,其他完全一样(包括启动参数,使用的镜像等)。

使用kubectl apply -f <YAML>创建两个Job,然后查看两个Job的pod运行状态。

# kubectl get po
NAME                                   READY   STATUS    RESTARTS   AGE
tensorflow-benchmark-exclusive-9plm8   1/1     Running   0          4m
tensorflow-benchmark-share-w5xt8       1/1     Running   0          4m

当两个pod处于Running以后,分别进入两个pod查看它们的GPU利用率。

进入tensorflow-benchmark-exclusive-9plm8的pod,查看其利用率,执行如下命令:

 # kubectl exec -ti tensorflow-benchmark-exclusive-9plm8 -- nvidia-smi

命令输出为:

可以看到,GPU利用率为91%,pod可用显存为32510MiB(使用的是整张卡)。

进入tensorflow-benchmark-share-w5xt8的pod,查看其利用率,执行如下命令:

 # kubectl exec -ti tensorflow-benchmark-share-w5xt8 -- nvidia-smi

命令输出为:

可以看到,该pod总共可用的显存为10487MiB(10GiB左右显存),GPU利用率为28%(在30%处上下浮动)。

对比这两个任务,有如下的结论:

  • 当算力未被限制时(申请整张卡),任务的GPU利用率能够达到90%左右。
  • 当显存和算力被限制时(申请10GiB显存和30%算力),任务最大可使用的显存为10GiB,GPU利用率被限制30%左右。

可以看到算力限制是生效的。

监控

从容器服务GPU监控大盘中可以查看任务分配的算力,从下图中可以看到tensorflow-benchmark-share-w5xt8申请了30%算力:

也可以查看该任务所在节点已分配的算力,从下图中可以看到节点的0号卡已分配30%算力:

还可以查看该节点上已分配的显存比例,从下图中可以看到该节点的0号卡已分配32.3%的显存:

相关实践学习
巧用云服务器ECS制作节日贺卡
本场景带您体验如何在一台CentOS 7操作系统的ECS实例上,通过搭建web服务器,上传源码到web容器,制作节日贺卡网页。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
15天前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
3年前的云栖大会,我们发布分布式云容器平台ACK One,随着3年的发展,很高兴看到ACK One在混合云,分布式云领域帮助到越来越多的客户,今天给大家汇报下ACK One 3年来的发展演进,以及如何帮助客户解决分布式领域多云多集群管理的挑战。
阿里云容器服务 ACK One 分布式云容器企业落地实践
|
15天前
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
针对软件供应链的攻击事件在以每年三位数的速度激增,其中三方或开源软件已经成为攻击者关注的重要目标,其攻击方式和技术也在不断演进。通过供应链的传播,一个底层软件包的漏洞的影响范围可以波及世界。企业亟需更加标准和完善的供应链风险洞察和防护机制。本文将结合最佳实践的形式,面向容器应用完整的生命周期展示如何基于容器服务ACK/ACR/ASM助力企业构建云原生软件供应链安全。
|
11天前
|
人工智能 运维 监控
阿里云ACK容器服务生产级可观测体系建设实践
阿里云ACK容器服务生产级可观测体系建设实践
|
15天前
|
运维 Kubernetes Java
阿里云容器计算服务ACS ,更普惠易用、更柔性、更弹性的容器算力
ACS(阿里云容器计算服务)推出Serverless容器算力,提供更普惠、柔性、弹性的算力资源,适用于多种业务场景,如复合应用、ACK集成、EMR大数据处理等,帮助企业降低成本、提升效率。
|
15天前
|
人工智能 Kubernetes Cloud Native
阿里云容器服务,智算时代云原生操作系统
今年是Kubernetes十周年,在这10年间。我们已经看到其成长为云原生操作系统,向下高效调度多种算力资源,屏蔽基础设施差异,向上提供统一编程接口,支持多样化工作负载。阿里云容器服务产品已经覆盖了从公共云、边缘云、到本地数据中心的各个场景。让所有需要云能力的地方,都有统一的容器基础设施。
阿里云容器服务,智算时代云原生操作系统
|
14天前
|
人工智能 Cloud Native 调度
阿里云容器服务在AI智算场景的创新与实践
2024年云栖大会,我们总结过往支持AI智算基础底座的实践经验、发现与思考,给出《容器服务在AI智算场景的创新与实践》的演讲。不仅希望将所做所想与客户和社区分享,也期待引出更多云原生AI领域的交流和共建。
|
14天前
|
人工智能 运维 Kubernetes
拥抱智算时代:阿里云容器服务智能、托管、弹性新体验
在2024云栖大会容器计算专场,给大家分享容器服务的新产品体验,本次分享,我们聚焦容器服务是如何通过智能、托管、弹性的产品新体验,来助力客户拥抱智算时代的。
|
20天前
|
Linux iOS开发 Docker
Docker:容器化技术的领航者 —— 从基础到实践的全面解析
在云计算与微服务架构日益盛行的今天,Docker作为容器化技术的佼佼者,正引领着一场软件开发与部署的革命。它不仅极大地提升了应用部署的灵活性与效率,还为持续集成/持续部署(CI/CD)提供了强有力的支撑。
201 69
|
7天前
|
Kubernetes Cloud Native 持续交付
云原生之旅:Docker容器化与Kubernetes集群管理
【9月更文挑战第33天】在数字化转型的浪潮中,云原生技术如同一艘航船,带领企业乘风破浪。本篇文章将作为你的航海指南,从Docker容器化的基础讲起,直至Kubernetes集群的高级管理,我们将一起探索云原生的奥秘。你将学习到如何封装应用、实现环境隔离,以及如何在Kubernetes集群中部署、监控和扩展你的服务。让我们启航,驶向灵活、可伸缩的云原生未来。
|
10天前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker与Kubernetes入门
【9月更文挑战第30天】在云计算的浪潮中,云原生技术正以前所未有的速度重塑着软件开发和运维领域。本文将通过深入浅出的方式,带你了解云原生的核心组件——Docker容器和Kubernetes集群,并探索它们如何助力现代应用的构建、部署和管理。从Docker的基本命令到Kubernetes的资源调度,我们将一起开启云原生技术的奇妙之旅。

相关产品

  • 容器计算服务