【MindStudio训练营第一季】MindStudio 专家系统随笔

简介: 专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

简介
专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

image.png

使用介绍
调优知识库
image.png

模型瓶颈分析
分析流程:

参数配置 & 启动分析;
首页summary报告: 模型香吐率运行时间、芯片利用率、切分策略评估,以及各个调优知识库TOP问题;
计算图分析: ub融合、aipp融合、transdata等;
模型算子性能瓶颈分析:模型算子带宽&算力利用率;
aicpu & aicore并行分析;
image.png

模型性能优化
针对onnx推理模型,根据定义好的子图pattern主动识别onnx模型中符合的子图,并对其进行修改优化:

当前支持的子图pattern:

Conv1d优化:

连续slice合并

连续concat合并

类型转换

大shape卷积转置

大kernel卷积拆分

根据官方介绍,后续还会根据调优场景继续补充,让更多开发者直接受益。

调用知识库开发
基于Ascend Advisor工程,开发者可以开发自己的调优知识库

支持代码调试(该功能在新版本会提供)

支持知识库共享(该功能在新版本会提供)

image.png

案例实践
推理模型调优
性能分析: Mobilenetv3图像分类
https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a2951ef07c40424a9b0e39237466e383/1

性能分析&优化: Deit图像分类
https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a475d4f47de642f19c0a1f81580633ae/1

性能分析&优化: tdnn语音识别
https://www.hiascend.com/zh/software/modelzoo/models/detail/1/f4f4103245624c1a8637f8a5eadd950c/1

Mobilenetv3图像分类
image.png

Deit图像分类
image.png

目录
相关文章
|
1月前
|
数据采集 数据可视化 搜索推荐
《统计学简易速速上手小册》第2章:数据探索与可视化(2024 最新版)
《统计学简易速速上手小册》第2章:数据探索与可视化(2024 最新版)
38 1
|
机器学习/深度学习 人工智能 Linux
AI让照片换发型,Barbershop开源项目安装使用 | 机器学习
AI让照片换发型,Barbershop开源项目安装使用 | 机器学习
AI让照片换发型,Barbershop开源项目安装使用 | 机器学习
|
1月前
|
运维 监控 供应链
《统计学简易速速上手小册》第7章:时间序列分析(2024 最新版)
《统计学简易速速上手小册》第7章:时间序列分析(2024 最新版)
36 1
|
1月前
|
机器学习/深度学习 数据可视化 数据挖掘
《统计学简易速速上手小册》第1章:统计学基础(2024 最新版)
《统计学简易速速上手小册》第1章:统计学基础(2024 最新版)
49 1
|
1月前
|
人工智能 搜索推荐 数据挖掘
《统计学简易速速上手小册》第10章:案例研究和未来趋势(2024 最新版)
《统计学简易速速上手小册》第10章:案例研究和未来趋势(2024 最新版)
38 0
|
7月前
|
人工智能 自然语言处理 IDE
人手一个编程助手!北大代码大模型CodeShell-7B开源,魔搭社区最佳实践来了!
CodeShell是北京大学知识计算实验室联合四川天府银行AI团队研发的多语言代码大模型基座。
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
我失业了?| ChatGPT生信分析初体验
我失业了?| ChatGPT生信分析初体验
91 0
|
9月前
|
程序员 搜索推荐
用ModelScope来阐述中秋的意义
我们分三步走第一步中秋节的背景第二怎么过中秋节 第三中秋祝福有那些来分析ModelScope的好坏
165 0
用ModelScope来阐述中秋的意义
|
10月前
|
人工智能
生信麻瓜的 ChatGPT 4.0 初体验
生信麻瓜的 ChatGPT 4.0 初体验
|
机器学习/深度学习 人工智能 算法
入坑机器学习:一,绪论
在入坑之前,需要大家有一定的数学基础,高数,线代,概率论,个人认为概率论更加重要,也更加难。我之前也有出过相关的文章。
115 0
入坑机器学习:一,绪论