【MindStudio训练营第一季】MindStudio 专家系统随笔

简介: 专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

简介
专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

image.png

使用介绍
调优知识库
image.png

模型瓶颈分析
分析流程:

参数配置 & 启动分析;
首页summary报告: 模型香吐率运行时间、芯片利用率、切分策略评估,以及各个调优知识库TOP问题;
计算图分析: ub融合、aipp融合、transdata等;
模型算子性能瓶颈分析:模型算子带宽&算力利用率;
aicpu & aicore并行分析;
image.png

模型性能优化
针对onnx推理模型,根据定义好的子图pattern主动识别onnx模型中符合的子图,并对其进行修改优化:

当前支持的子图pattern:

Conv1d优化:

连续slice合并

连续concat合并

类型转换

大shape卷积转置

大kernel卷积拆分

根据官方介绍,后续还会根据调优场景继续补充,让更多开发者直接受益。

调用知识库开发
基于Ascend Advisor工程,开发者可以开发自己的调优知识库

支持代码调试(该功能在新版本会提供)

支持知识库共享(该功能在新版本会提供)

image.png

案例实践
推理模型调优
性能分析: Mobilenetv3图像分类

Mobilenetv3图像分类
image.png

Deit图像分类
image.png

目录
相关文章
|
7月前
|
人工智能 安全 IDE
【AI帮我写代码,上班摸鱼不是梦】手摸手图解CodeWhisperer的安装使用
除了借助ChatGPT通过问答的方式生成代码,也可以通过IDEA插件在写代码是直接帮助我们生成代码。 目前,IDEA插件有CodeGeeX、CodeWhisperer、Copilot。其中,CodeGeeX和CodeWhisperer是完全免费的,Copilot是收费的,每月10美元。 下面我们来了解CodeWhisperer的安装和使用,如果你还想了解其他的可以在评论告诉我。
228 4
|
4月前
|
人工智能 开发工具 git
一看就会的 AI 换脸项目教程!5分钟速通明星大模型开源项目一键部署
有了通义灵码的帮助,很多明星大模型项目实操过程中遇到的问题:查找错误、解释代码、优化代码、查找文档、代码补全等等都可以用通义灵码一键解决,而且准确率很高,加上灵活的实操环境,项目跑起来会非常高效。关键是通义灵码个人版还免费!
|
4月前
|
人工智能 自然语言处理 数据挖掘
🎯直击要害!生成式模型新手村毕业攻略:打造高效提示词秘籍📚
【8月更文挑战第1天】踏入生成式模型的世界,新手常感迷茫。高效提示词是通往AI创意大门的钥匙。首先要理解提示词的本质:它是你意图的载体。明确目标后,构建提示词框架:设定主题、描绘场景、添加情节线索,并指定风格。实战演练中不断优化提示词,激发模型潜力。掌握这些技巧,你就能在AI创作之路上越走越远,征服这片新大陆!
55 0
|
5月前
|
数据采集 人工智能 数据可视化
“会数据同学”首站走进雅戈尔,看老牌男装品牌如何用“数据+AI”华丽转身
“会数据同学”首站走进雅戈尔,看老牌男装品牌如何用“数据+AI”华丽转身
153 0
|
机器学习/深度学习 人工智能 自然语言处理
我失业了?| ChatGPT生信分析初体验
我失业了?| ChatGPT生信分析初体验
133 0
|
机器学习/深度学习 弹性计算 开发工具
【MindStudio训练营第一期]--【新手班】学习笔记①
【MindStudio训练营第一期]--【新手班】学习笔记①
|
机器学习/深度学习 人工智能 自然语言处理
AIGC领航计划系列-快速入门指南-科普篇
“开启人工智能之旅,与AIGC领航计划共创未来”!科普篇:什么是AIGC?AIGC的行业现状?AIGC的应用场景?
968 2
|
人工智能 数据安全/隐私保护
【新手上路】趣味AI特训营新手手册~(上)
【新手上路】趣味AI特训营新手手册~
|
人工智能
【新手上路】趣味AI特训营新手手册~(下)
【新手上路】趣味AI特训营新手手册~
|
数据采集 人工智能 IDE
【MindStudio训练营第一季】MindStudio Profiling随笔
Ascend AI处理器是一款面向AI业务应用的高性能集成芯片,包含AI CPU、A Core、AI Vector Core等计算单元来提升AI任务的运算性能。
173 7

热门文章

最新文章