2023年3月23日14：00（中国时间），NVIDIA GTC开发者大会阿里云开发者社区观看入口正式开放，阿里云高级技术专家林立翔带来了题为《基于阿里云弹性GPU服务的神龙AI加速引擎。无缝提升AI训练性能》的分享，以下是他的演讲内容整理：
阿里云弹性GPU服务是阿里云为云上客户提供的包括NVIDIA GPU在内的IAAS 实例，神龙AI加速引擎是构建在阿里云GPU IAAS服务之上的软件工具，旨在用户使用阿里云GPU IAAS 服务进行人工智能计算时，可以高效地发挥GPU实例的效率。
云上用户在进行人工智能训练的场景与分布对我们分析用户的使用习惯与痛点针对性地提供优化解决方案具有很好的指导意义。
Pytorch框架的易用性在学术界深入人心并逐渐蔓延到工业界。目前，Pytorch几乎已经成为云上AI用户训练新的AI模型的框架首选。此外，在推荐系统等场景上Tensorflow 仍然占有重要的一席之地，而MXNET与JAX目前被使用的频次越来越低。
其次，在AI训练任务的机器规模上，目前阿里云上提供单机8卡GPU的裸金属/虚拟机实例，用户可以使用单机或通过网卡互联组建多机的训练集群。阿里云同时也提供了单卡/两卡/四卡等虚拟机实例供用户选择。
目前一部分用户的训练任务可以通过单机实现，比如部分fintune模型与训练时长可以接受的中小模型。有相当大的一部分用户有多台GPU实例组成训练集群，进行数据并行或模型并行训练任务的诉求，比如拥有海量训练数据集的预训练模型的训练任务或超大规模模型的训练任务。
在AI训练过程中，用户往往利用AI框架本身与NVIDIA 提供的构建在cuda之上、AI框架之下的加速软件达成训练AI模型的目的。但在实际端到端训练任务过程中，往往会存在计算、网络、存储等三大瓶颈，尤其在使用多机多卡进行分布式训练的场景下，机器之间的网络效率问题是常见且主要的AI训练任务的性能瓶颈。
在深入理解用户使用云上GPU实例进行训练任务的场景与使用痛点后，如何基于阿里云弹性GPU服务之上，软硬结合地解决用户痛点并最终提升用户AI训练的性能，尤其是分布式训练的性能，是神龙AI加速引擎的目标。
阿里云异构计算构建在神龙计算平台的底座之上，提供NVIDIA GPU与其他异构器件等多种异构实例产品。另外，在提供传统实例的同时，也提供AI计算负载解耦的实例，如EAIS。
神龙AI加速引擎AIACC如图所示，构建在异构实例之上。在平台层之下，作为IAAS+的软件工具形态，用于加速AI计算负载的场景。除了AIACC之外，该层还提供了fastgpu等工具，用于方便快速地搭建GPU集群。
神龙AI加速引擎AIACC提供的软件包括AI训练与AI推理两个方面。
在AI训练领域，神龙AI加速引擎AIACC针对用户使用云上实例进行AI训练的主要痛点，分别在分布式训练与训练计算图上进行了软硬结合的优化，形成了相应的软件工具来加速用户的AI训练性能。
上图为神龙AI加速引擎AIACC在分布式训练方面的软件架构图。软件代码称为Acspeed（下文将以Acspeed来统称AIACC在分布式训练上的软件优化工具）。
在海量数据背景下，分布式训练是用户进行AI训练的普遍诉求。而云上实例能提供的网卡间通信能力，相较于单机内部能提供的nvlink/nvswitch等，不管是在通信延时还是在通信带宽上，都具有不止一个数量级的优势。
机器之间互联能力与机器内互联能力的差异，在数据并行与模型并行等分布式训练场景下往往会使机器之间的数据交换成为整个训练效率的短板，这也是Acspeed需要重点解决的性能问题。
从用户的使用习惯看，Pytorch事目前新的模型训练的主要框架，而Pytorch ddp是Pytorch进行分布式训练的原生选择。因此，除了对底层网络的性能优化外，Acspeed同时需要保障与原生ddp的使用习惯兼容，使用户的使用成本降到最低。
因此，Acspeed在软件架构上采用了分层解耦的形式，对上实现了与AI框架的无缝兼容，对下实现了对底层基础设施的性能优化，跨层间实现了特定AI场景下通信效率的多维调优。
如图所示，Acspeed针对分布式训练的瓶颈，通过AI框架层集合通信算法层与网络层分层解耦的方式实现了软硬结合的无感性能优化。
在AI框架层，Acspeed使用Pytorch 从c10d-plugin的接口与对应的wrapper，实现对Pytorch ddp使用方式的无感支持与bucket层级的优化；对使用Tensorflow的用户，Acspeed同样提供horovo-api的兼容层。
在集合通信算法层，Acspeed使用集合通信编译器的技术，在nccl runtime的基础上，针对nvlink/nvswitch/PCIe/NIC交换机等互联信息进行自适应的拓扑感知与算法优化。
在网络层，Acspeed针对阿里云VPC网络与eRDMA网络的基础设施进行了深入优化。由于对Pytorch ddp使用方式的无缝支持，用户无需改动业务代码即可享受到Acspeed带来的分布式训练性能的优化效果。
AIACC也针对Pytorch训练计算图进行了编译优化，软件代码为Agspeed（后文将统一使用Agspeed来表示AIACC在Pytorch计算训练图的优化工作）。
众所周知，Pytorch的模式以其出众的易用性席卷学术界与工业界。相对于graph模式，Pytorch模式虽然直接，但缺少了图融合的机制，在部分场景下会不同程度地导致GPU计算效率不高。Pytorch社区也发现了该问题，并且已经着手graph模式的工作，在保障使用体验不受影响的前提下进行计算图的优化，涌现了包括torchscrip、torchdynamo、inductor等出色的项目，并进行了持续的集成与迭代。到Pytorch2.0时代后，计算图编译的功能将成为Pytorch框架缺省的选项。
目前，整个Pytorch训练计算图组件在端到端场景仍有待改善的环节，包括频繁的graph recompile、graph break等问题，限制了在用户场景的落地与使用。
Agspeed在吸收社区优秀工作的基础上，针对目前Pytorch计算图的不足，在端到端场景做了长足的覆盖性与优化工作。
如图所示，Agspeed上层保障用户侧Pytorch eager API使用场景不变，重点针对编译器的前端与后端进行了覆盖度的优化。在编译器前端，Agspeed引入了torch dynamo的graph catch机制，针对catch的异常做了捕获与优化。通过前端的autotuner自动选择性能最优的后端优化器。在编译器后端，Agspeed引入了包括torchscript、Functor aot、nvfusor、inductor等后端，并且针对端到端模型在特定后端的性能不足问题，通过plugin的方式添加到优化路径中。
Agspeed相较于eager模式与目前的编译手段，保障了用户端到端性能的增强以及提供了SLA保障。
我们将Acspeed软件的优化栈分为AI框架层、集合通信算法层与网络层。特例到使用Pytorch进行AI训练的场景，即对应着Pytorch层、nccl层与操作系统的TCP层。
在分布式训练中，Pytorch、nccl、TCP不同层级分别有不同的通信数据结构作为载体，承接进行分布式通信的任务。比如，对应 Pytorch框架的是ddp的bucket，它是在框架层的通信传输数据结构；对应nccl的通信载体是nccl侧的chunk，它是nccl进行通信传输的数据结构；tcp层对应的是tcp的buffer，它是tcp进行通信的真实传输数据。
影响不同层次通信载体或数据结构的带宽利用率的因素不尽相同又相互关联。
不尽相同的部分在于：对于ddp bucket，影响通信效率的主要因素是计算与通信overlap的bucket粒度；nccl chunk影响通信效率的主要因素是slice的overlap与channel的影响等；TCP buffer影响通信效率的主要因素是延时带宽的乘积等。
而相互关联的部分在于：pytorch的ddpbucket向下会拆解为 nccl的chunk进行传输，而nccl的chunk又会向下拆解成tcp的buffer进行传输。
上层的通信数据划分粒度与策略会影响下层通信的效率与策略的选择。
Acspeed在架构上打通了框架层、集合通信算法层到网络层，同时对多层的影响因素进行跨层的autotune来实现整体通信效率的提升。与此同时，针对影响不同层的通信效率问题，在工程上做了进一步软硬结合的优化。
在AI框架层，对Pytorch reducer的通信粒度进行了动态调整，实现了最佳的融合粒度寻优；在nccl侧工程上，通过动态channel slice的自动调节，提升了nccl primitive通信的pipeline能力；在网络层，实现了自适应延迟带宽乘积的buffer，并且支持阿里云特有的eRDMA功能。
不同于传统的TCP/IP，RDMA可以将网络协议栈卸载在网卡上，从而优化网络间的通信。RDMA在使用方式上相较于TCP/IP也会有所不同。
eRDMA是阿里云创新性提出的大规模云网络使用RDMA的解决方案，实现了在云化网络的大规模RDMA集群组网能力。它不仅可以实现通信软件栈的Bypass os kurnel的能力以提升通信带宽的利用率，同时，针对GPU训练场景，结合GPU Direct RDMA技术可以bypass host，实现GPU buffer的高效跨机传输。
如图所示，eRDMA最大效率实现了在大规模云场景下，AI分布式训练对网络大带宽与延迟的要求。由于eRDMA与传统的TCP/IP程序逻辑上存在着较大的区别，Acspeed在通信层提供的nccl plugin可以无感支持nccl对RDMA能力的使能与优化，让用户在无需改变任何现有使用方式的前提下，享受eRDMA在分布式训练带来的效果。
我们选取的阿里云上某款实例单机到8机进行分布式训练扩展的benchmark，比较Pytorch原生ddp与叠加了AIACC优化能力的性能。
上图横坐标表示各个不同模型在不同机器规模下使用Pytorch ddp、Acspeed与Agspeed进行训练的数据。纵坐标是归一化的性能数据，单机的性能表示为1，理想的8机的性能为8。可以看出，从单机8卡到8机64卡，AIACC的扩展性更优，相对于Pytorch原生的ddp有显著的性能提升，提升效果在30%到150%不等。
AIACC实现了对客户代码的兼容，客户可以无感地使用AIAC进行加速，结合阿里云的IAAS资源实现了软硬结合的深度优化。而以上所有能力都以便捷、开源、兼容的方式提供给客户，提升了客户AI训练的业务性能，加快了客户算法的研发效率与模型的迭代速度，同时也提升了用户使用GPU资源的效率，降低计算资源的成本，最终提升客户产品的竞争力，也体现了AIACC的客户价值。
欢迎大家使用AIACC加速云上的训练业务。
我们提供了一键勾选、软件包安装等多种方式，方便用户直接在异构实例上或容器上运行AIACC。以Acspeed为例，只需在业务代码上import torch后加上import acspeed的一行代码，便可以开启您的AIACC加速之旅。
AI分布式训练通信优化库AIACC-ACSpeed官方使用文档：
https://help.aliyun.com/document_detail/462031.html
AI训练计算优化编译器AIACC-AGSpeed官方使用文档：
https://help.aliyun.com/document_detail/467465.html
点击链接进入阿里云开发者社区直播间 / 扫描上方海报中的二维码进入 NVIDIA GTC官网，均可观看完整视频。
