游客gt7qofxar6rlw_个人页
游客gt7qofxar6rlw
文章
5
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
获得更多能力
通用技术能力：
暂时未有相关通用技术能力~
云产品技术能力：
-
Clouder
-
Apsara Clouder云计算专项技能认证：云服务器ECS入门
获得于2023-02-19 22:18:51
-
Apsara Clouder云计算专项技能认证：云服务器ECS入门
阿里云技能认证
详细说明-
发表了文章 2025-04-18
服务化参数调优实战
本文介绍了服务化性能调优的全流程，以Llama3-8B模型为例。首先需完成MindIE环境安装、下载模型权重与测试数据集。接着通过计算npuMemSize和maxBatchSize，maxPrefillBatchSize（272）与maxPrefillTokens，并更新配置进行性能测试。结果显示，参数调优后吞吐量提升18%。此方法为大模型性能优化提供了实用指导。
-
发表了文章 2025-04-17
MindIE Torch快速上手
MindIE Torch 是一款高效的深度学习推理优化工具，支持 PyTorch 模型在 NPU 上的高性能部署。其核心特性包括：1) 子图与单算子混合执行，配合 torch_npu 实现高效推理；2) 支持 C++ 和 Python 编程语言，灵活适配不同开发需求；3) 兼容多种模式（TorchScript、ExportedProgram、torch.compile），覆盖广泛场景；4) 支持静态与动态 Shape 模型编译，满足多样化输入需求。通过简单易用的 API，开发者可快速完成模型加载、编译优化、推理执行及离线模型导出等全流程操作，显著提升开发效率与性能表现。
-
发表了文章 2025-03-10
DeepSeek-R1-Distill-Qwen-1.5B基于MindIE推理实践
基于MindIE实现DeepSeek-R1-Distill-Qwen-1.5B的纯模型推理和服务化推理。
-
发表了文章 2025-01-17
MindIE对接vLLM框架开发指南
vLLM对接MindIE，使能快速迁移到昇腾设备上，当前MindIE 1.0.0发布版本已支持多种三方框架。
-
发表了文章 2025-01-17
MindIE+MindFormers推理方案指导
本文介绍了昇腾大模型推理解决方案MindIE+MindFormers.
暂无更多信息
-
发表了文章
2025-04-18
服务化参数调优实战
-
发表了文章
2025-04-17
MindIE Torch快速上手
-
发表了文章
2025-03-10
DeepSeek-R1-Distill-Qwen-1.5B基于MindIE推理实践
-
发表了文章
2025-01-17
MindIE对接vLLM框架开发指南
-
发表了文章
2025-01-17
MindIE+MindFormers推理方案指导
滑动查看更多
暂无更多信息
暂无更多信息