融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
简介: 本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。

在深度学习的背景下,NVIDIA的CUDA与AMD的ROCm框架缺乏有效的互操作性,导致基础设施资源利用率显著降低。随着模型规模不断扩大而预算约束日益严格,2-3年更换一次GPU的传统方式已不具可持续性。但是Pytorch的最近几次的更新可以有效利用异构计算集群,实现对所有可用GPU资源的充分调度,不受制于供应商限制。

本文将深入探讨如何混合AMD/NVIDIA GPU集群以支持PyTorch分布式训练。通过建立CUDA与ROCm的技术桥接,我们将阐述如何实现以下目标:

  • 无需重构训练代码即可充分利用异构硬件资源
  • 维持高性能集体通信操作—如all_reduceall_gather—通过UCC和UCX技术框架高效聚合和传输AMD与NVIDIA GPU节点间的数据(如梯度),实现同步化训练
  • 在采用AWS g4dn (NVIDIA T4)和g4ad (AMD Radeon V520)实例构建的异构本地及Kubernetes集群上部署分布式PyTorch训练任务

集群异构性分析

集群异构性呈现从轻度到强度的连续谱系,每个层级在分布式机器学习和高性能计算环境中均需采取差异化的管理策略。这些集群主要依赖GPU作为核心计算加速器,同时可能在CPU架构、内存配置、存储系统及网络互连技术方面存在差异。本章重点分析GPU异构性对HPC集群的影响,包括单一供应商生态系统内的轻度差异及多供应商环境下的显著差异。

轻度异构环境

轻度异构环境主要涉及同一供应商生态系统内的技术差异,如NVIDIA V100与A100或AMD MI50与MI250X加速器之间的代际差异。在此类场景中,这些GPU共享基础架构、驱动程序和通信库,使PyTorch等框架能够通过抽象层有效管理这些差异。

轻度异构集群面临的挑战:

  • 计算能力不平衡: 老旧GPU架构在处理新型模型时性能滞后,形成系统瓶颈。
  • 内存容量不匹配: VRAM容量较小的设备限制了可处理的批量大小。
  • 互连性能变化: PCIe Gen3与NVLink/NVSwitch技术在数据传输速率上存在显著差异。

解决方案:

  • 参数服务器分布式策略 实现更具容错性的分布式工作负载架构
  • 动态负载均衡: 实施智能工作负载分配机制,跟踪设备利用率,将较小批次任务分配至性能较低的GPU。
  • 梯度压缩技术: 减少带宽受限节点的通信开销。
  • 容器化部署: 使用针对特定GPU架构优化的CUDA/ROCm版本构建Docker镜像,提高兼容性。

由于NVIDIA的NCCL或AMD的RCCL等供应商专用库针对各自生态系统进行了深度优化,因此集体通信在轻度异构环境中仍能保持较高效率。

强度异构环境

强度异构环境涉及来自不同供应商的GPU设备组成的混合集群(如NVIDIA与AMD)。

NVIDIA CUDA与AMD ROCm分别为其专有硬件平台设计,采用不同的指令集、内存管理机制和驱动程序接口。这种缺乏统一基础架构的情况导致依赖共享通信后端的负载均衡策略和基于统一内存语义的全分片数据并行(FSDP)技术无法跨平台运行。

目前业界尚未形成标准化解决方案来应对强度异构环境带来的挑战。这一技术缺口需要开发策略,在最小化AMD与NVIDIA GPU间通信开销的同时,实现混合供应商集群的透明利用,并达到接近原生性能水平。这一目标可定义为:

  • 透明资源利用: 执行分布式训练任务无需重写模型代码或按供应商分割集群。
  • 接近原生的性能表现: 最小化AMD与NVIDIA GPU间的通信开销,接近NCCL/RCCL原生性能,并利用支持RDMA的集体通信和GPU P2P通信实现高效分布式计算。

在后续内容中,我将详细阐述为在AWS G4dn实例(配备NVIDIA T4 GPU)和AWS G4ad实例(配备AMD Radeon V520 GPU)上启用PyTorch分布式训练的集体通信所进行的技术探索。重点将置于利用现有集体通信库来解决强度异构环境带来的挑战。

NCCL与RCCL的兼容性探索

NCCL (NVIDIA)RCCL (AMD) 是经过 GPU优化的 集体通信库,集成了直接利用GPU Direct RDMA以及必要时使用套接字传输的底层优化机制。

在研究RCCL变更日志时,我发现的首个积极信号是—与NCCL <version>的兼容性注释。无论采用何种版本配置或应用何种优化调整,系统始终返回:

NCCL WARN NET/Socket: message truncated: receiving X bytes instead of Y.

这一探索最终证实为技术瓶颈,因为尽管RCCL是NCCL的移植版本,但底层架构差异阻碍了RCCL与NCCL在异构集群中的协同工作。这些库依赖特定硬件集成,且基于不同的内核级优化、内存层次结构和IPC机制,使真正的兼容性实现变得极为困难。

解决这一问题需要高效的通信中间件技术。

统一通信框架技术

在寻找适当解决方案的过程中,我发现了统一通信框架(UCF)—一个由工业界、研究机构和学术界组成的联盟,其使命是统一高性能计算通信标准。

具有前景的解决方案—统一集体通信(UCC)—是一个开源项目,为高性能计算、人工智能、数据中心和I/O领域提供集体通信操作的API和库实现。该项目旨在通过网络拓扑感知算法、简化软件方法和网络内计算硬件加速,提供高效且可扩展的集体通信操作。

UCC与传输层中间件—统一通信X(UCX)协同工作,利用其高性能点对点通信原语和功能组件。UCX的设计汲取了多个项目的经验,包括Mellanox的HCOLL和SHARP、华为的UCG、开源Cheetah及IBM的PAMI Collectives。最为关键的是—UCC和UCX均实现了对ROCm和CUDA的全面支持

UCC作为实验性后端已集成到PyTorch分布式模块中。它可以作为PyTorch分布式模块的直接后端使用,也可以作为OpenMPI中集体通信操作的后端。为此需要从源代码构建支持MPI的torch库,并使用mpirun启动器执行支持OpenMPI的分布式任务。

这一发现是技术突破的关键是成功确定可行配置,并使用PyTorch和MPI成功运行了多节点分布式数据并行训练任务。

AWS G4ad (AMD GPU)和G4dn (NVIDIA GPU)实例上运行的分布式数据并行PyTorch训练任务。

通过采用UCC和UCX技术框架,异构GPU集群不再是遥不可及的理想,而是可实现的技术目标。这一突破有望使组织能够充分发挥硬件投资价值,将分散的计算资源整合为高效统一的高性能计算环境。

异构Kubernetes集群实现

在企业级基础设施管理中,组织面临着如何高效配置资源支持团队需求的挑战。同时还需要支持各种规模的机器学习工作负载的快速高效运行,包括小型实验和长期训练万亿参数级大模型的场景。

Kubernetes因其强大的资源编排能力以及最大化资源利用率协调多样化硬件的能力,已成为分布式机器学习的基础平台。

要在Kubernetes上调度分布式训练任务,无论使用Kubeflow MPI Operator还是PyTorch operator,任务清单都需要使用AMD或NVIDIA设备插件提供的特定资源定义:

# NVIDIA
resources:
  limits:
    nvidia.com/gpu: 1

# AMD
resources:
  limits:
    amd.com/gpu: 1

配置强度异构任务需要自定义资源定义(CRD)或变更准入控制器(mutating webhook handler),以统一资源命名(如heterogenous.com/gpu: 1),或者手动单独部署每个Pod。

VolcanoJob作为Volcano调度器提供的Kubernetes CRD,简化了这一流程。Volcano专为高性能批处理工作负载设计,提供组调度(gang scheduling)功能确保分布式任务的原子执行(即所有必需资源可用时所有Pod同时启动,否则全部不启动),并提供插件自动化基础设施配置。与Kubeflow的Training Operators(如MPIOperator)强制所有worker使用统一资源模板不同,Volcano允许按任务定义Pod,从而实现对异构资源的精确控制。

在异构Kubernetes集群上部署混合GPU分布式训练工作负载,需配置以下VolcanoJob CRD功能:

自动SSH配置

ssh插件生成包含预共享SSH密钥的ConfigMap,实现Pod间无密码认证。每个容器中的sshd设置利用这些密钥,无需手动证书管理。

worker pod DNS解析

svc插件创建无头服务(headless service),分配可预测的DNS主机名。Pod通过Volcano注入的环境变量(如VC_MPIWORKER_AMD_HOSTS)识别对等节点,主Pod利用这些变量构建mpirun主机列表。

资源特定任务组

每个task定义唯一Pod模板:

mpimaster协调训练过程,使用MPI和UCX参数优化GPU通信。

mpiworker-nvidiampiworker-amd分别指定不同resources和供应商特定容器镜像。

组调度机制

minAvailable: 3确保所有Pod(1个master + 2个worker)同时调度,防止异构集群中的资源死锁。

任务完成定义

带有CompleteJob动作键的policies字段允许配置将任务标记为完成状态的事件。此处为mpimaster任务的TaskCompleted事件。

apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
  name: mpi-training-heterogeneous
  namespace: volcano-job-training
spec:
  minAvailable: 3 # Gang scheduling: All 3 pods must be allocated
  plugins:
    ssh: []  # Auto-generates SSH keys via ConfigMap
    svc: []  # Creates headless service for stable hostnames
  schedulerName: volcano
  tasks:
    - name: mpimaster
      policies:
        - action: CompleteJob # The job is completed when the launcher task completes successfully
          event: TaskCompleted
      replicas: 1
      template:
        spec:
          containers:
            - command:
                - /bin/bash
                - -c
                # Create SSH directories for the plugin to inject passwordless configuration
                - mkdir -p /var/run/sshd; /usr/sbin/sshd;
                # Volcano injects worker hosts via VC_MPIWORKER_*_HOSTS:
                MPI_HOST=${VC_MPIWORKER_AMD_HOSTS},${VC_MPIWORKER_NVIDIA_HOSTS};
                NUM_WORKERS=$(($(echo ${MPI_HOST} | tr -cd ',' | wc -c) + 1));
                # Launch the training job with mpirun and push the extracted MPI_HOST and NUM_WORKERS content
                - mpirun -np ${NUM_WORKERS} --allow-run-as-root --host ${MPI_HOST} -x MASTER_ADDR=${VC_MPIWORKER_AMD_HOSTS} -x MASTER_PORT=29603 \
                # Configure OpenMPI to use UCC for collective operation backend
                -mca pml ucx -mca coll_ucc_enable 1 -mca coll_ucc_priority 100 \
                # Fine-tune UCX transport layer and UCC collectives parameters to support g4ad instances
                -x UCX_ROCM_COPY_D2H_THRESH=0 -x UCX_ROCM_COPY_H2D_THRESH=0 \
                -x UCC_EC_ROCM_REDUCE_HOST_LIMIT=0 -x UCC_EC_ROCM_COPY_HOST_LIMIT=0 \
                -x OMPI_MCA_mpi_accelerator_rocm_memcpyD2H_limit=0 -x OMPI_MCA_mpi_accelerator_rocm_memcpyH2D_limit=0 \
                # Point on the MPI-aware PyTorch job execution code
                /opt/conda/envs/py_3.12/bin/python 1000 1000 --batch_size 500
                /mpijob/main.py --backend=mpi 1000 1000 --batch_size 500
              image: docker.io/rafalsiwek/opmpi_ucx_simple:latest
              name: mpimaster
              ports:
                - containerPort: 22
                  name: mpijob-port
          restartPolicy: OnFailure
    - name: mpiworker-nvidia
      replicas: 1
      template:
        spec:
          containers:
            - command:
                - /bin/bash
                - -c
                - mkdir -p /var/run/sshd; /usr/sbin/sshd -D;
              image: docker.io/rafalsiwek/g4dn_distributed_ml:1.0_pytorch_mpi_opperator
              name: mpiworker
              ports:
                - containerPort: 22
                  name: mpijob-port
                - containerPort: 29603
                  name: torch-port
              resources:
                limits:
                  nvidia.com/gpu: "1" # NVIDIA-specific GPU
              restartPolicy: OnFailure
    - name: mpiworker-amd
      replicas: 1
      template:
        spec:
          containers:
            - command:
                - /bin/bash
                - -c
                - mkdir -p /var/run/sshd; /usr/sbin/sshd -D;
              image: docker.io/rafalsiwek/g4ad_distributed_ml:1.0_pytorch_mpi_opperator
              name: mpiworker
              ports:
                - containerPort: 22
                  name: mpijob-port
                - containerPort: 29603
                  name: torch-port
              resources:
                limits:
                  amd.com/gpu: "1" # AMD-specific GPU

运行PyTorch分布式任务需要具备特定GPU类型感知的UCC、UCX和MPI库环境,以及将分布式模块链接到这些库的PyTorch构建。启动器仅需UCC、UCX和OpenMPI支持,由于其集体操作不涉及GPU特定处理,因此不需要GPU感知构建。此环境配置需要从源代码构建相关库和PyTorch。

通过在Kubernetes平台上启用混合GPU集群,组织能够将分散的硬件资源转化为统一的创新平台。这种方法有效消除了成本高昂的供应商锁定,最大化现有投资价值并提升GPU资源利用率。 无论是扩展万亿参数模型训练还是整合具有不同基础设施的团队,异构环境使团队能够以更高效、智能的方式进行模型训练,无需彻底更换硬件平台。

技术局限性

缺乏RDMA验证:由于AWS EFA对g4ad实例的支持状态尚不明确,适当的RDMA兼容性尚未得到完全测试。UCX同样缺乏针对零拷贝RDMA操作的官方AWS EFA兼容性认证,因此当前实现主要依赖TCP传输。

次优通信性能:仅使用TCP传输层会显著降低通信带宽和增加延迟,这一点已通过OSU基准测试结果得到验证。

机器学习框架集成要求:尽管PyTorch和Horovod支持用于集体操作的MPI后端,但Horovod在本实现中尚未进行全面测试。此外,大多数框架需要显式的MPI后端集成,而这种集成并非在所有框架中普遍可用。

PyTorch中有限的MPI后端支持:PyTorch的MPI风格集体后端功能集相对有限,优先支持NCCL/Gloo后端,且仅完全支持分布式数据并行(DDP)模式。全分片数据并行(FSDP)等高级策略依赖于allgather_base等操作,这些操作在PyTorch的MPI后端中尚未实现。

总结

对于寻求在机器学习和深度学习工作负载中实现快速扩展的组织而言,在多供应商GPU集群上执行分布式训练的能力提供了极具战略价值的技术机遇。由于主流机器学习框架缺乏原生支持,目前实现这一目标仍需投入大量工程资源。

开放、标准化实现的发展将有助于实现异构硬件生态系统的民主化访问,从而在不牺牲性能的前提下提供经济高效的技术灵活性。

本文的源代码可以在这个项目中找到:

https://avoid.overfit.cn/post/41b87700f05642b0b0cbd4729274ed1a

作者:Rafał Siwek

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
4月前
|
存储 机器学习/深度学习 数据库
阿里云服务器X86/ARM/GPU/裸金属/超算五大架构技术特点、场景适配参考
在云计算技术飞速发展的当下,云计算已经渗透到各个行业,成为企业数字化转型的关键驱动力。选择合适的云服务器架构对于提升业务效率、降低成本至关重要。阿里云提供了多样化的云服务器架构选择,包括X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器以及高性能计算等。本文将深入解析这些架构的特点、优势及适用场景,以供大家了解和选择参考。
881 61
|
2月前
|
消息中间件 负载均衡 中间件
⚡ 构建真正的高性能即时通讯服务:基于 Netty 集群的架构设计与实现
本文介绍了如何基于 Netty 构建分布式即时通讯集群。随着用户量增长,单体架构面临性能瓶颈,文章对比了三种集群方案:Nginx 负载均衡、注册中心服务发现与基于 ZooKeeper 的消息路由架构。最终选择第三种方案,通过 ZooKeeper 实现服务注册发现与消息路由,并结合 RabbitMQ 支持跨服务器消息广播。文中还详细讲解了 ZooKeeper 搭建、Netty 集群改造、动态端口分配、服务注册、负载均衡及消息广播的实现,构建了一个高可用、可水平扩展的即时通讯系统。
237 0
|
4月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
5月前
|
机器学习/深度学习 并行计算 PyTorch
英伟达新一代GPU架构(50系列显卡)PyTorch兼容性解决方案
本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题,分析其根源为预编译二进制文件不支持sm_120架构,并提出解决方案:使用PyTorch Nightly版本、更新CUDA工具包至12.8。通过清理环境并安装支持新架构的组件,成功解决兼容性问题。文章总结了深度学习环境中硬件与框架兼容性的关键策略,强调Nightly构建版本和环境一致性的重要性,为开发者提供参考。
2692 64
英伟达新一代GPU架构(50系列显卡)PyTorch兼容性解决方案
|
4月前
|
Kubernetes 调度 异构计算
一文搞懂 GPU 共享方案: NVIDIA Time Slicing
本文主要分享 GPU 共享方案,包括如何安装、配置以及使用,最后通过分析源码了 TImeSlicing 的具体实现。通过配置 TImeSlicing 可以实现 Pod 共享一块物理 GPU,以提升资源利用率。
183 11
|
5月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
5月前
|
存储 机器学习/深度学习 算法
阿里云X86/ARM/GPU/裸金属/超算等五大服务器架构技术特点、场景适配与选型策略
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别。本文将深入解析这些架构的特点、优势及适用场景,帮助用户更好地根据实际需求做出选择。
|
5月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
6月前
|
存储 SQL 并行计算
【赵渝强老师】达梦数据库MPP集群的架构
达梦数据库提供大规模并行处理(MPP)架构,以低成本实现高性能并行计算,满足海量数据存储和复杂查询需求。DM MPP采用完全对等无共享体系,消除主节点瓶颈,通过多节点并行执行提升性能。其执行流程包括主EP生成计划、分发任务、各EP并行处理及结果汇总返回。为确保高可用性,建议结合数据守护部署。
159 0
|
1月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
181 2