NPU上如何使能pytorch图模式
本文介绍了PyTorch的`torch.compile`技术和TorchAir的相关内容。`torch.compile`通过将动态图转换为静态图并结合JIT编译，提升模型推理和训练效率。示例代码展示了如何使用`torch.compile`优化模型。TorchAir是昇腾为PyTorch提供的图模式扩展库，支持在昇腾设备上进行高效训练和推理。它基于Dynamo特性，将计算图转换为Ascend IR，并通过图引擎优化执行。文章还提供了TorchAir的使用示例及功能配置方法。
国产NAS也支持本地部署DeepSeek了：极空间Z423上手
极空间Z423 NAS新增本地部署DeepSeek大模型功能，支持7B和14B两种参数量级模型。本文通过实际测试展示了其性能表现：14B模型运行缓慢，Token输出速度低于每秒10个，而7B模型速度稍快但仍不理想。硬件资源占用高，温度显著上升，风扇噪音增大。作者建议优化交互逻辑、提供局域网接口及更好GPU支持，并预测未来NAS可能加入GPU或NPU以提升推理能力。此功能目前更像战略布局，为后续硬件升级铺垫。
NPU上运行onnxruntime
在Ascend环境下使用onnxruntime推理时，若安装了GPU版本的onnxruntime（`onnxruntime-gpu`），可能会因缺少CUDA组件报错。正确做法是卸载`onnxruntime-gpu`，并根据官方文档适配NPU，通过源码构建支持CANN的onnxruntime whl包。具体步骤为克隆onnxruntime源码，使用`--use_cann`参数构建，并安装生成的whl包。最后，配置CANNExecutionProvider进行推理。
万亿参数模型训练神器：Kubeflow 2025量子加速版下载与TPU集群配置详解
Kubeflow 2025 是一个云原生机器学习操作系统，实现了四大突破性创新：量子混合训练（支持经典-量子混合神经网络协同计算）、神经符号系统集成（融合深度学习与逻辑推理引擎）、边缘智能联邦（5G MEC节点自动弹性扩缩容）和因果可解释性框架（集成Pearl、DoWhy等工具链）。该平台通过混合计算架构、先进的硬件配置矩阵和量子增强型安装流程，提供了从基础设施预配置到核心组件安装和安全加固的完整部署方案。此外，Kubeflow 2025 还涵盖全生命周期开发实战案例、智能运维监控体系、安全与合规框架以及高阶调试技巧，帮助用户高效构建和管理复杂的机器学习项目。
MindIE BenchMark
MindIE Benchmark工具通过部署昇腾服务化配套包，以终端命令方式测试大语言模型在不同配置下的推理性能和精度。它支持Client和Engine两种推理模式：Client模式适用于多用户并发场景，兼容多种接口；Engine模式直接调用底层API，测量NPU卡的真实性能。该工具支持多个数据集进行精度和性能测试，如CEval 5-shot、CMMLU、GSM8K等，并将结果保存为本地csv文件。评测方法包括调用大模型输入题目，解析返回结果并与正确答案比较，计算平均分和其他指标如准确率、EM等。
