游客gt7qofxar6rlw_个人页

2025年04月

• 04.18 11:50:51
  发表了文章 2025-04-18 11:50:51

  服务化参数调优实战

  本文介绍了服务化性能调优的全流程，以Llama3-8B模型为例。首先需完成MindIE环境安装、下载模型权重与测试数据集。接着通过计算npuMemSize和maxBatchSize，maxPrefillBatchSize（272）与maxPrefillTokens，并更新配置进行性能测试。结果显示，参数调优后吞吐量提升18%。此方法为大模型性能优化提供了实用指导。
• 04.17 21:24:07
  发表了文章 2025-04-17 21:24:07

  MindIE Torch快速上手

  MindIE Torch 是一款高效的深度学习推理优化工具，支持 PyTorch 模型在 NPU 上的高性能部署。其核心特性包括：1) 子图与单算子混合执行，配合 torch_npu 实现高效推理；2) 支持 C++ 和 Python 编程语言，灵活适配不同开发需求；3) 兼容多种模式（TorchScript、ExportedProgram、torch.compile），覆盖广泛场景；4) 支持静态与动态 Shape 模型编译，满足多样化输入需求。通过简单易用的 API，开发者可快速完成模型加载、编译优化、推理执行及离线模型导出等全流程操作，显著提升开发效率与性能表现。

2025年03月

• 03.10 20:27:24
  发表了文章 2025-03-10 20:27:24

  DeepSeek-R1-Distill-Qwen-1.5B基于MindIE推理实践

  基于MindIE实现DeepSeek-R1-Distill-Qwen-1.5B的纯模型推理和服务化推理。

2025年01月

• 01.17 15:08:28
  发表了文章 2025-01-17 15:08:28

  MindIE对接vLLM框架开发指南

  vLLM对接MindIE，使能快速迁移到昇腾设备上，当前MindIE 1.0.0发布版本已支持多种三方框架。
• 01.17 10:35:03
  发表了文章 2025-01-17 10:35:03

  MindIE+MindFormers推理方案指导

  本文介绍了昇腾大模型推理解决方案MindIE+MindFormers.