《阿里云产品四月刊》—一文解读：阿里云 AI 基础设施的演进与挑战（2）https://developer.aliyun.com/article/1554150
第二个体系结构挑战就是内存墙。
所谓内存墙，计算过程数据在 CPU 和 GPU 之间会做搬移/交换，如今 PCIE 的体系结构逐渐成为数据交换和传输的瓶颈。可以看到，像 NVIDIA 也在 Grace Hopper 架构上推出了 NVlink C2C 方案，能够大幅提升整个数据传输的速率。
第三个是通讯墙。
尤其对于训练来说，分布式训练规模还是非常大的，从去年的千卡规模到了如今万卡甚 至十万卡规模，分布式训练场景下如何增加机器之间的互联带宽也是一个巨大的挑战。 从国内外各个厂商的一些进展来看，在 A100 上会采用 800G 互联的带宽，在 H100 上会有 3.2T 带宽，也就是更大的互联带宽。所以现在看到的趋势就是硬件堆砌的趋势， 总结下来就是会有更大的显存、更高的显存带宽，还有更高的 CPU 和 GPU 之间的互联带宽，最后还有 PCIE 本身的向下迭代。
上图是以 NVIDIA GPU 举例，展示了 Ampere 从这一代架构开始到后面的 Blackwell 芯片的一些特点变化，体现在算力维度就是计算规模会越来越高，过往的不到 1PFlops、如今要到 1P 以上，且显存大小也会越来越大，从前的 80G 到如今的 100G+的规模；显存带宽也是非常重要的指标，也在不断增加，这也反映了未来硬件、尤其是 AI 计算上硬件规格的变化。
《阿里云产品四月刊》—一文解读：阿里云 AI 基础设施的演进与挑战（4）https://developer.aliyun.com/article/1554148
