阿里云引领智算集群网络架构的新一轮变革
11月8日至10日，CCF ChinaNet（中国网络大会）在江苏张家港召开，众多院士、教授和技术领袖共聚一堂，探讨网络未来发展方向。阿里云研发副总裁蔡德忠发表主题演讲，展望智算技术发展趋势，提出智算网络架构变革的新思路，发布高通量以太网协议和ENode+超节点系统规划，引起广泛关注。阿里云HPN7.0引领智算以太网生态蓬勃发展，成为业界标杆。未来，X10规模的智算集群将面临新的挑战，Ethernet将成为主流方案，推动Scale up与Scale out的融合架构，提升整体系统性能。245/300
【AI系统】内存分配算法
本文探讨了AI编译器前端优化中的内存分配问题，涵盖模型与硬件内存的发展、内存划分及其优化算法。文章首先分析了神经网络模型对NPU内存需求的增长趋势，随后详细介绍了静态与动态内存的概念及其实现方式，最后重点讨论了几种节省内存的算法，如空间换内存、计算换内存、模型压缩和内存复用等，旨在提高内存使用效率，减少碎片化，提升模型训练和推理的性能。
【AI系统】完全分片数据并行 FSDP
本文深入探讨了AI框架中针对权重数据、优化器数据和梯度数据的分布式并行实现，特别是在PyTorch框架下的具体方案。文章首先回顾了通用数据并行和分布式数据并行的概念，重点讨论了同步与异步数据并行的差异。接着，文章详细介绍了如何在PyTorch中实现弹性数据并行，特别是完全分片数据并行（FSDP）的机制，包括其如何通过分片模型状态和剩余状态来减少内存消耗，提高训练效率。此外，文章还探讨了混合精度训练、损失缩放和内存消耗估算等关键技术，为理解和实施高效的分布式训练提供了全面的指导。
全面解析 | 大模型时代如何利用弹性计算服务应对大算力挑战
2023年6月20日，阿里云弹性计算团队与智东西公开课联合出品的系列课程「阿里云弹性计算技术公开课」正式播出，阿里云弹性计算产品专家张新涛作为该系列课程首位主讲人，带来了主题为《大模型时代如何应对大算力挑战》的课程分享，本次课程也在阿里云官网、钉钉视频号、阿里云官方视频号、阿里云开发者视频号、阿里云创新中心直播间&视频号等多平台同步播出。