企业内训｜基于华为昇腾910B算力卡的大模型部署和调优-上海某央企智算中心
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
【AI系统】感知量化训练 QAT
本文介绍感知量化训练（QAT）流程，旨在减少神经网络从FP32量化至INT8时的精度损失。通过在模型中插入伪量化节点（FakeQuant）模拟量化误差，并在训练中最小化这些误差，使模型适应量化环境。文章还探讨了伪量化节点的作用、正向与反向传播处理、TensorRT中的QAT模型高效推理，以及QAT与PTQ的对比，提供了实践技巧，如从良好校准的PTQ模型开始、采用余弦退火学习率计划等。
PyTorch量化感知训练技术：模型压缩与高精度边缘部署实践
本文深入探讨神经网络模型量化技术，重点讲解训练后量化（PTQ）与量化感知训练（QAT）两种主流方法。PTQ通过校准数据集确定量化参数，快速实现模型压缩，但精度损失较大；QAT在训练中引入伪量化操作，使模型适应低精度环境，显著提升量化后性能。文章结合PyTorch实现细节，介绍Eager模式、FX图模式及PyTorch 2导出量化等工具，并分享大语言模型Int4/Int8混合精度实践。最后总结量化最佳策略，包括逐通道量化、混合精度设置及目标硬件适配，助力高效部署深度学习模型。