【MindStudio训练营第一季】MindStudio 专家系统随笔

简介: 专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

简介
专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

image.png

使用介绍
调优知识库
image.png

模型瓶颈分析
分析流程:

参数配置 & 启动分析;
首页summary报告: 模型香吐率运行时间、芯片利用率、切分策略评估,以及各个调优知识库TOP问题;
计算图分析: ub融合、aipp融合、transdata等;
模型算子性能瓶颈分析:模型算子带宽&算力利用率;
aicpu & aicore并行分析;
image.png

模型性能优化
针对onnx推理模型,根据定义好的子图pattern主动识别onnx模型中符合的子图,并对其进行修改优化:

当前支持的子图pattern:

Conv1d优化:

连续slice合并

连续concat合并

类型转换

大shape卷积转置

大kernel卷积拆分

根据官方介绍,后续还会根据调优场景继续补充,让更多开发者直接受益。

调用知识库开发
基于Ascend Advisor工程,开发者可以开发自己的调优知识库

支持代码调试(该功能在新版本会提供)

支持知识库共享(该功能在新版本会提供)

image.png

案例实践
推理模型调优
性能分析: Mobilenetv3图像分类

Mobilenetv3图像分类
image.png

Deit图像分类
image.png

目录
相关文章
|
人工智能
生信麻瓜的 ChatGPT 4.0 初体验
生信麻瓜的 ChatGPT 4.0 初体验
|
数据采集 人工智能 IDE
【MindStudio训练营第一季】MindStudio Profiling随笔
Ascend AI处理器是一款面向AI业务应用的高性能集成芯片,包含AI CPU、A Core、AI Vector Core等计算单元来提升AI任务的运算性能。
168 7
|
Windows
分享5款不容错过的工具,各个都是精品
想提高工作效率或生活质量?这里有五款实用工具推荐!从剪贴板管理到全景照片拼接,再到快速启动工具,一定有适合你的选择。赶紧看看吧!
142 0
分享5款不容错过的工具,各个都是精品
|
存储 人工智能 算法
【MindStudio训练营第一季】MindStudio 高精度对比随笔
训练场景下,迁移原始网络 (如TensorFlow、PyTorch) ,用于NPU上执行训练,网络迁移可能会造成自有实现的算子运算结果与用原生标准算子运算结果存在偏差。
195 1
|
机器学习/深度学习 人工智能 数据可视化
【MindStudio训练营第一季】MindStudio 可视化AI应用开发体验随笔
Mind Studio 提供一站式AI开发环境,依靠工具与性能调优,采用插件化扩展机制,打造高效、便捷的全流程开发工具链。目前最新版本是5.0.RC3,发布于2022年20月,对应的昇腾社区版本:6.0.RC1,新增众多特性。
354 1
|
人工智能 Ubuntu Shell
【AI征文】DeepRec编译过程中新手最容易踩的3个坑
3个坑分别是: 一、windows不能通过Docker Desktop编译 二、没有改官方代码的目录导致名称占用 三、因不明原因导致configure能查找到,但是无法使用
520 1
【AI征文】DeepRec编译过程中新手最容易踩的3个坑
|
机器学习/深度学习 人工智能 自然语言处理
开源!《AI 算法工程师手册》中文教程正式发布!
开源!《AI 算法工程师手册》中文教程正式发布!
703 0
开源!《AI 算法工程师手册》中文教程正式发布!
|
运维 Linux 云计算
Linux教程:Linux运维工程师必备入门法宝
小编相信你在看到这篇文章的时候,一定是想要学习Linux的,或者已经在学习Linux的路上了,那么对于正在学习得你,一定非常需要这份Linux教程,帮助你快速入门Linux。 成功不易唯有加倍努力!无论是什么原因学习Linux的,方法还是差不多的,想要快速入门,首先你要选择一本基础书籍带你入门。
|
Web App开发 编解码 UED
探索多媒体开发最新最佳实践(内附资料下载)
2018年初的音视频技术生态并不平静,Codec的争夺进入群雄逐鹿的时代,AV1和国产的AVS2对HEVC发起了挑战;WebRTC 1.0版定稿打通了在浏览器、移动端乃至IoT上的多媒体通信;AI、区块链技术的发展,正在与多媒体开发发生在化学反应,将成为推动生态发展的新力量。
1645 0