本文来源于阿里云社区电子书《阿里云产品四月刊》

一文解读：阿里云 AI 基础设施的演进与挑战

2024 年 4 月 18-19 日，2024 中国生成式 AI 大会在北京 JW 万豪酒店举行，阿里云高级技术专家、阿里云异构计算 AI 推理团队负责人李鹏受邀在【AI Infra】专场发表题为

《AI 基础设施的演进与挑战》的主题演讲。李鹏从 AIGC 对云基础设施的挑战、如何进一步释放云上性能、AIGC 场景下训练和推理最佳实践三个方向逐一展开分享。

大模型的发展给计算体系结构带来了功耗墙、内存墙和通讯墙等多重挑战。其中，大模  型训练层面，用户在模型装载、模型并行、通信等环节面临各种现实问题；在大模型推  理层面，用户在显存、带宽、量化上面临性能瓶颈。

对于如何更好地释放云上性能助力 AIGC 应用创新？“阿里云弹性计算为云上客户提供了 ECS GPU DeepGPU 增强工具包，帮助用户在云上高效地构建 AI 训练和 AI 推理基础设施，从而提高算力利用效率。”李鹏介绍到。目前，阿里云 ECS DeepGPU 已经帮助众多客户实现性能的大幅提升。其中，LLM 微调训练场景下性能最高可提升 80%，Stable Difussion 推理场景下性能最高可提升 60%。

以下是全文内容，供阅览。

李鹏 阿里云高级技术专家 & 阿里云异构计算 AI 推理团队负责人

从 2023 年开始，生成式 AI 爆发，文生视频、文生图、文生文等场景有很多大模型/通用大模型产生，我也和我们的产品团队、架构师团队一起与阿里云客户做过多次技术分  享交流，看到了企业客户开始逐渐将生成式 AI 技术应用到实际的业务当中。

从我的感受来讲，如今越来越多的云上客户拥抱生成式 AI  的场景，大模型的接受度也越来越高，比如电子商务、影视、内容资讯和办公软件、游戏等典型的行业。

上图左侧是 2024GTC 大会上展示的一张关于模型发展对算力需求的曲线图。从 2018 年开始这条绿色曲线，从 Transformer 模型、到如今的 GPT、再到最新的 1.8 万亿参数大模型，对算力需求呈现了  10  倍规模递增的爆炸性增长，训练场景对算力的需求非常大。

另外根据估算，如果要训练一个 GPT-3、1750 亿参数的模型，训练的计算量大概在 3640 PFLOP * 天，对芯片的需求大概需要 1024 张 A100 跑一个月的时间，这是一个相当大的千卡规模，换算到成本上则是一笔非常巨大的计算开销。总体来说，当前阶段的 GPU 算力价格相对较贵，再到推理/微调本身的算力需求和成本，也可以看到部署的成本也   比较高，开销同样较大。

AIGC 对云基础设施的挑战

谈到大模型发展对体系结构的挑战，首先看到的是功耗墙的问题。

以 NVIDIA GPU 举例，2017 年开始，V100 的功耗只有 250 瓦，递增到 A100 功耗接近400 瓦，H100 功耗 700 瓦，到最新 B200 功耗大概到了 1000 瓦，算力成倍增长，计

算功耗也会增加的越来越多。最近业界也有许多讨论说到 AI  的尽头是能源，随着计算需求的增大，会带来能源上更大的需求。

第二个体系结构挑战就是内存墙。

所谓内存墙，计算过程数据在 CPU 和 GPU 之间会做搬移/交换，如今 PCIE 的体系结构逐渐成为数据交换和传输的瓶颈。可以看到，像 NVIDIA 也在 Grace Hopper 架构上推出了 NVlink C2C 方案，能够大幅提升整个数据传输的速率。

第三个是通讯墙。

尤其对于训练来说，分布式训练规模还是非常大的，从去年的千卡规模到了如今万卡甚   至十万卡规模，分布式训练场景下如何增加机器之间的互联带宽也是一个巨大的挑战。  从国内外各个厂商的一些进展来看，在 A100 上会采用 800G 互联的带宽，在 H100 上会有 3.2T 带宽，也就是更大的互联带宽。所以现在看到的趋势就是硬件堆砌的趋势， 总结下来就是会有更大的显存、更高的显存带宽，还有更高的 CPU 和 GPU 之间的互联带宽，最后还有 PCIE 本身的向下迭代。

上图是以 NVIDIA GPU 举例，展示了 Ampere 从这一代架构开始到后面的 Blackwell 芯片的一些特点变化，体现在算力维度就是计算规模会越来越高，过往的不到   1PFlops、如今要到 1P 以上，且显存大小也会越来越大，从前的 80G 到如今的 100G+的规模；显存带宽也是非常重要的指标，也在不断增加，这也反映了未来硬件、尤其是 AI 计算上硬件规格的变化。

《阿里云产品四月刊》—一文解读：阿里云 AI 基础设施的演进与挑战（2）https://developer.aliyun.com/article/1554150