【AI系统】完全分片数据并行 FSDP
本文深入探讨了AI框架中针对权重数据、优化器数据和梯度数据的分布式并行实现，特别是在PyTorch框架下的具体方案。文章首先回顾了通用数据并行和分布式数据并行的概念，重点讨论了同步与异步数据并行的差异。接着，文章详细介绍了如何在PyTorch中实现弹性数据并行，特别是完全分片数据并行（FSDP）的机制，包括其如何通过分片模型状态和剩余状态来减少内存消耗，提高训练效率。此外，文章还探讨了混合精度训练、损失缩放和内存消耗估算等关键技术，为理解和实施高效的分布式训练提供了全面的指导。
企业内训｜基于华为昇腾910B算力卡的大模型部署和调优-上海某央企智算中心
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
H4H：面向AR/VR应用的NPU-CIM异构系统混合卷积-Transformer架构搜索——论文阅读
H4H是一种面向AR/VR应用的混合卷积-Transformer架构，基于NPU-CIM异构系统，通过神经架构搜索实现高效模型设计。该架构结合卷积神经网络（CNN）的局部特征提取与视觉Transformer（ViT）的全局信息处理能力，提升模型性能与效率。通过两阶段增量训练策略，缓解混合模型训练中的梯度冲突问题，并利用异构计算资源优化推理延迟与能耗。实验表明，H4H在相同准确率下显著降低延迟和功耗，为AR/VR设备上的边缘AI推理提供了高效解决方案。
阿里云引领智算集群网络架构的新一轮变革
11月8日至10日，CCF ChinaNet（中国网络大会）在江苏张家港召开，众多院士、教授和技术领袖共聚一堂，探讨网络未来发展方向。阿里云研发副总裁蔡德忠发表主题演讲，展望智算技术发展趋势，提出智算网络架构变革的新思路，发布高通量以太网协议和ENode+超节点系统规划，引起广泛关注。阿里云HPN7.0引领智算以太网生态蓬勃发展，成为业界标杆。未来，X10规模的智算集群将面临新的挑战，Ethernet将成为主流方案，推动Scale up与Scale out的融合架构，提升整体系统性能。
