为ACK One注册集群配置多地域调度解决Serverless GPU算力不足-开发者社区-阿里云

突破地域限制，实现算力无限供给 -- 阿里云ACK One注册集群开启多地域Serverless算力调度

2025-04-10 392

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 传统单地域算力难以支撑AI推理场景的高并发实时响应、突发高流量的要求，阿里云容器服务ACK One注册集群推出多地域Serverless算力调度方案完美解决此问题。

【阅读原文】戳：突破地域限制，实现算力无限供给--阿里云ACK One注册集群开启多地域Serverless算力调度

随着企业在数字化转型中的进一步深化，基础设施的灵活性和扩展能力成为了关键挑战。传统的IDC数据中心受制于物理容量的限制，难以实现动态扩容，因而缺乏必要的弹性能力。这时，ACK One注册集群[1]凭借分钟级快速接入，100%兼容Kubernetes原生操作习惯，以及云上Serverless弹性因其高度的灵活性和丰富的资源选择，成为了解决这一问题的最佳方案。

然而，随着AI时代的来临，大模型的参数规模正以千亿量级跃进，推动训练与推理的算力需求指数级增长。对传统数据中心用户而言，通过ACK One注册集云上Serverless弹性，虽能应对常规业务需求，却在AI时代暴显得捉襟见肘。具体的表现如下：

• GPU卡型差异：GPU卡型在不同地域覆盖上存在一定的差异。

• GPU库存波动：单地域GPU资源由于库存缘故存在波动，极端情况可能导致短期无法购买到相应的资源。

在AI推理场景中，高并发请求的实时响应、突发流量的弹性承载以及模型版本的快速迭代，对于算力的供给效率提出了更高的要求。而传统单地域算力所面临的问题难以支撑高可用的推理服务需求，严重制约企业AI服务的商业化落地速度。

针对这一行业性的挑战，阿里云基于容器服务ACK One注册集群推出多地域Serverless算力调度解决方案。该方案以"实现无限算力供给"为核心，为企业构建跨地域的弹性算力供给，助力企业实现AI推理服务的规模化、低延迟、高性价比部署，抢占生成式AI时代的商业化先机。

快速接入

• 登录阿里云容器服务控制台[2]，根据提示开通容器服务。

• 登录容器计算服务控制台[3]，根据提示开通ACS服务。

• 创建ACK One注册集群并接入数据中心或者其他云厂商的Kubernetes集群（建议版本为1.24及以上）。具体操作，请参见创建ACK One注册集群并接入目标集群[4]。

• 安装ACK Virtual Node组件。具体操作，请参考ACK One注册集群使用Serverless算力[5]。

示例

说明：

• ACK One注册集群使用ACS GPU算力，请提交工单[6]申请。

• 关于ACS的算力类型和算力质量，请参见计算类型与算力质量的对应关系[7]。

• 关于gpu-model-series的可选卡型，请参见GPU型号说明[8]。

指定地域调度

在默认情况下，如果我们需要将业的Serverless算力调度到指定的地域，可以在业务应用的定义中添加标签alibabacloud.com/serverless-region-id:来实现。如下:

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx-gpu-specified-region
  name: nginx-gpu-deployment-specified-region
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx-gpu-specified-region
  template:
    metadata:
      labels:
        alibabacloud.com/acs: "true" 
        alibabacloud.com/compute-class: gpu
        alibabacloud.com/compute-qos: default
        alibabacloud.com/gpu-model-series: example-model  # GPU卡型，请按照实际情况替换，例如T4
        alibabacloud.com/serverless-region-id: <RegionID> # 通过该标签指定地域，若不指定会使用默认地域
        app: nginx-gpu-specified-region
    spec:  
      containers:
        - image: 'mirrors-ssl.aliyuncs.com/nginx:stable-alpine'
          imagePullPolicy: IfNotPresent
          name: nginx
          ports:
            - containerPort: 80
              protocol: TCP
          resources:
            limits:
              cpu: 1
              memory: 1Gi
              nvidia.com/gpu: "1"
            requests:
              cpu: 1
              memory: 1Gi
              nvidia.com/gpu: "1"

使用ack-co-scheduler调度器动态调度

在自定地域调度的示例中，是通过为业务应用设置标签alibabacloud.com/serverless-region-id: 来实现将业务应用调度到指定地域的Serverless算力。

然而，这种方式存在一定的限制和缺少灵活性。为了解决该问题，我们可以借助于阿里云ack-co-scheduler调度器的ResourcePolicy策略实现动态调度，不仅满足业务的诉求，也降低业务负载配置的复杂度。

下面我们通过一个当某地域资源不足的时候，自动调度到其他地域的示例。调度器通过spec.selector字段，选中带有标签app: nginx-gpu-resourcepolicy的业务应用，并且根据spec.units中定义的调度策略进行调度。如下：

• 调度策略定义

apiVersion: scheduling.alibabacloud.com/v1alpha1
kind: ResourcePolicy
metadata:
  name: multi-vk-gpu-resourcepolicy
  namespace: default
spec:
  selector: # 在selector中标记Pod，表示带有app=nginx-gpu-resourcepolicy标签的Pod将遵循此调度策略
    app: nginx-gpu-resourcepolicy
  units:
  # 优先使用该地域的资源，当该地域资源不足时候，自动切换到其他地域
  - resource: acs # resource类型指定为acs
    nodeSelector: # 支持通过nodeSelector指定虚拟节点地域
      topology.kubernetes.io/region: <RegionID>
      type: virtual-kubelet
    podLabels:
      alibabacloud.com/serverless-region-id: <RegionID>
      alibabacloud.com/compute-class: gpu
      alibabacloud.com/compute-qos: default
      alibabacloud.com/gpu-model-series: example-model  # GPU卡型，请按照实际情况替换
  - resource: acs 
    nodeSelector: # 支持通过nodeSelector指定虚拟节点地域
      topology.kubernetes.io/region: <RegionID>
      type: virtual-kubelet
    podLabels:
      alibabacloud.com/serverless-region-id: <RegionID>  
      alibabacloud.com/compute-class: gpu
      alibabacloud.com/compute-qos: default
      alibabacloud.com/gpu-model-series: example-model  # GPU卡型，请按照实际情况替换

说明：

• spec.selector表示带有app=nginx-gpu-resourcepolicy标签的Pod将遵循此调度策略。

• spec.units

- resource: acs表示指定的资源类型为acs。

- nodeSelector：表示通过nodeSelector指定业务应用要被调度到的节点。

- podLabels：表示调度器会为带有spec.selector标签的pod追加指定的标签。

• 业务负载定义

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx-gpu-resourcepolicy
  name: nginx-gpu-deployment-resourcepolicy
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx-gpu-resourcepolicy
  template:
    metadata:
      labels:
        app: nginx-gpu-resourcepolicy
    spec:  
      schedulerName: ack-co-scheduler  
      containers:
        - image: 'mirrors-ssl.aliyuncs.com/nginx:stable-alpine'
          imagePullPolicy: IfNotPresent
          name: nginx
          ports:
            - containerPort: 80
              protocol: TCP
          resources:
            limits:
              cpu: 1
              memory: 1Gi
              nvidia.com/gpu: "1"
            requests:
              cpu: 1
              memory: 1Gi
              nvidia.com/gpu: "1"