NPU上运行onnxruntime
在Ascend环境下使用onnxruntime推理时，若安装了GPU版本的onnxruntime（`onnxruntime-gpu`），可能会因缺少CUDA组件报错。正确做法是卸载`onnxruntime-gpu`，并根据官方文档适配NPU，通过源码构建支持CANN的onnxruntime whl包。具体步骤为克隆onnxruntime源码，使用`--use_cann`参数构建，并安装生成的whl包。最后，配置CANNExecutionProvider进行推理。
# 大模型优化与压缩技术：2025年的实践与突破
2025年，随着大语言模型的规模和复杂度不断提升，模型优化与压缩技术已成为AI产业落地的关键瓶颈和研究热点。根据最新统计，顶级大语言模型的参数规模已突破万亿级别，如DeepSeek-R1模型的6710亿参数规模，这带来了前所未有的计算资源需求和部署挑战。在这种背景下，如何在保持模型性能的同时，降低计算成本、减少内存占用、提升推理速度，已成为学术界和产业界共同关注的核心问题。
《深度揭秘：TPU张量计算架构如何重塑深度学习运算》
TPU（张量处理单元）是谷歌为应对深度学习模型计算需求而设计的专用硬件。其核心矩阵乘法单元（MXU）采用脉动阵列架构，显著提升矩阵运算效率；内存管理单元优化数据流通，减少瓶颈；控制单元协调系统运作，确保高效稳定。TPU在训练和推理速度、能耗方面表现出色，大幅缩短BERT等模型的训练时间，降低数据中心成本。尽管通用性和易用性仍有挑战，但TPU已为深度学习带来革命性变化，未来有望进一步优化。
【AI系统】谷歌 TPU 历史发展
本文详细介绍了谷歌TPU的发展历程及其在AI领域的应用。TPU是谷歌为加速机器学习任务设计的专用集成电路，自2016年首次推出以来，经历了多次迭代升级，包括TPU v1、v2、v3、v4及Edge TPU等版本。文章分析了各代TPU的技术革新，如低精度计算、脉动阵列、专用硬件设计等，并探讨了TPU在数据中心和边缘计算中的实际应用效果，以及谷歌如何通过TPU推动移动计算体验的进步。
【AI系统】NPU 基础
近年来，AI技术迅猛发展，催生了NPU和TPU等AI专用处理器，这些处理器专为加速深度学习任务设计，相比传统CPU和GPU，展现出更高效率和性能。本文将介绍AI芯片的概念、技术发展、部署方式及应用场景，涵盖从数据中心到边缘设备的广泛领域，探讨其如何成为AI技术落地的关键推手。
企业内训｜基于华为昇腾910B算力卡的大模型部署和调优-上海某央企智算中心
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
