企业内训｜基于华为昇腾910B算力卡的大模型部署和调优-上海某央企智算中心
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
【AI系统】超异构计算
本文探讨了计算机架构发展的黄金十年，重点介绍了异构计算和超异构计算的概念及其在AI芯片发展中的应用。文章首先回顾了AI芯片发展的三个阶段，随后详细阐述了异构计算的优势和应用场景，如性能飞跃、灵活定制、降低成本和降低功耗。接着，文章分析了超异构计算的出现背景、基本特征及其面临的挑战，包括软件层的复杂性和硬件定义软件与软件定义硬件之间的权衡。最后，展望了超异构计算的未来，强调了跨平台统一计算架构的重要性，以及构建开放生态系统的必要性。
【AI系统】内存分配算法
本文探讨了AI编译器前端优化中的内存分配问题，涵盖模型与硬件内存的发展、内存划分及其优化算法。文章首先分析了神经网络模型对NPU内存需求的增长趋势，随后详细介绍了静态与动态内存的概念及其实现方式，最后重点讨论了几种节省内存的算法，如空间换内存、计算换内存、模型压缩和内存复用等，旨在提高内存使用效率，减少碎片化，提升模型训练和推理的性能。
Ascend Extension for PyTorch的源码解析
本文介绍了Ascend对PyTorch代码的适配过程，包括源码下载、编译步骤及常见问题，详细解析了torch-npu编译后的文件结构和三种实现昇腾NPU算子调用的方式：通过torch的register方式、定义算子方式和API重定向映射方式。这对于开发者理解和使用Ascend平台上的PyTorch具有重要指导意义。