【MindStudio训练营第一季】MindStudio 专家系统随笔

简介: 专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

简介
专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

image.png

使用介绍
调优知识库
image.png

模型瓶颈分析
分析流程:

参数配置 & 启动分析;
首页summary报告: 模型香吐率运行时间、芯片利用率、切分策略评估,以及各个调优知识库TOP问题;
计算图分析: ub融合、aipp融合、transdata等;
模型算子性能瓶颈分析:模型算子带宽&算力利用率;
aicpu & aicore并行分析;
image.png

模型性能优化
针对onnx推理模型,根据定义好的子图pattern主动识别onnx模型中符合的子图,并对其进行修改优化:

当前支持的子图pattern:

Conv1d优化:

连续slice合并

连续concat合并

类型转换

大shape卷积转置

大kernel卷积拆分

根据官方介绍,后续还会根据调优场景继续补充,让更多开发者直接受益。

调用知识库开发
基于Ascend Advisor工程,开发者可以开发自己的调优知识库

支持代码调试(该功能在新版本会提供)

支持知识库共享(该功能在新版本会提供)

image.png

案例实践
推理模型调优
性能分析: Mobilenetv3图像分类

Mobilenetv3图像分类
image.png

Deit图像分类
image.png

目录
相关文章
|
5月前
|
Web App开发 机器人
小白一学就会小红书全自动写文发文机器人-爆文仿写笔记(二) -附提示词
小白一学就会小红书全自动写文发文机器人-爆文仿写笔记(二) -附提示词
139 1
|
人工智能 数据可视化
用了这8款AI制作PPT软件,年终总结再也不是问题!
8款好用的AI生成PPT软件推荐,轻松解决你的年终总结!
|
6月前
|
人工智能
妙笔生词是AI音乐创作业内自动写原创歌词的软件
妙笔生词智能写歌词软件,能软件助你轻松谱写多样化风格的歌词,流行、民谣、摇滚、中国风、儿歌,应有尽有。按需押韵,接龙续写,甚至能仿写喜爱歌曲。支持中文、英文、粤语、日语四种语言
|
7月前
|
算法 前端开发 语音技术
推荐6款2023年爆火的开源项目,你值得一试!
推荐6款2023年爆火的开源项目,你值得一试!
110 0
推荐6款2023年爆火的开源项目,你值得一试!
|
7月前
|
人工智能 前端开发 机器人
【杂谈】扣子(Coze) 初体验
扣子(Coze)是什么 官方原文如下: 扣子(coze.cn)是一款用来开发新一代 AI Chat Bot 的应用编辑平台,无论你是否有编程基础,都可以通过这个平台来快速创建各种类型的 Chat Bot,并将其发布到各类社交平台和通讯软件上。 我们可以理解为一个聊天🤖️,可以在其他平台上发布。那就让我们快速开始吧
960 0
|
机器学习/深度学习 人工智能 自然语言处理
我失业了?| ChatGPT生信分析初体验
我失业了?| ChatGPT生信分析初体验
133 0
|
人工智能 IDE 搜索推荐
AIGC领航计划系列-快速入门指南-先导篇
“开启人工智能之旅,与AIGC领航计划共创未来”!先导篇:AIGC的发展现状以及如何影响我们的工作和学习
261 0
AIGC领航计划系列-快速入门指南-先导篇
|
数据采集 人工智能 IDE
【MindStudio训练营第一季】MindStudio Profiling随笔
Ascend AI处理器是一款面向AI业务应用的高性能集成芯片,包含AI CPU、A Core、AI Vector Core等计算单元来提升AI任务的运算性能。
173 7
|
存储 人工智能 算法
【MindStudio训练营第一季】MindStudio 高精度对比随笔
训练场景下,迁移原始网络 (如TensorFlow、PyTorch) ,用于NPU上执行训练,网络迁移可能会造成自有实现的算子运算结果与用原生标准算子运算结果存在偏差。
201 1
|
机器学习/深度学习 人工智能 数据可视化
【MindStudio训练营第一季】MindStudio 可视化AI应用开发体验随笔
Mind Studio 提供一站式AI开发环境,依靠工具与性能调优,采用插件化扩展机制,打造高效、便捷的全流程开发工具链。目前最新版本是5.0.RC3,发布于2022年20月,对应的昇腾社区版本:6.0.RC1,新增众多特性。
362 1