通讯墙在AIGC中是什么挑战？

在提供的知识库资料中没有直接提及“通讯墙”在AIGC中的具体挑战。AIGC（AIGenerated Content，人工智能生成内容）相关的讨论主要集中在内容安全、创作挑战、技术赋能产业数字化变革以及高通公司如何通过AI软硬件技术促进AIGC应用的创新等方面^[1][2][3][4]。如果“通讯墙”指的是在AIGC领域中信息交流或技术传播的障碍，这可能间接关联到内容安全挑战中信息的真实性和流通性问题^[1]，或是技术创新与应用推广中可能遇到的信息不对称与合作难题。但请注意，这是根据AIGC领域常见挑战所做的推理，而非直接来源于参考资料的明确表述。如需深入了解特定的“通讯墙”挑战，可能需要更具体情境或额外信息来精确解答。

尤其对于训练来说，分布式训练规模还是非常大的，从去年的千卡规模到了如今万卡甚至十万卡规模，分布式训练场景下如何增加机器之间的互联带宽也是一个巨大的挑战。从国内外各个厂商的一些进展来看，在A100上会采用800G互联的带宽，在H100上会有3.2T带宽，也就是更大的互联带宽。所以现在看到的趋势就是硬件堆砌的趋势，总结下来就是会有更大的显存、更高的显存带宽，还有更高的CPU和GPU之间的互联带宽，最后还有PCIE本身的向下迭代。

——参考链接。

通讯墙在AIGC中主要指的是在分布式训练场景下，随着训练规模的扩大，如何增加机器之间的互联带宽成为了一个巨大的挑战。随着训练从千卡规模扩展到万卡甚至十万卡规模，机器之间的数据传输需求大幅增加，而现有的互联带宽可能无法满足这种大规模的数据传输需求，从而影响了AIGC的训练效率和性能。