【MindStudio训练营第一季】MindStudio Profiling随笔

简介: Ascend AI处理器是一款面向AI业务应用的高性能集成芯片,包含AI CPU、A Core、AI Vector Core等计算单元来提升AI任务的运算性能。

MindStudio Profiler简介

Ascend AI处理器是一款面向AI业务应用的高性能集成芯片,包含AI CPU、A Core、AI Vector Core等计算单元来提升AI任务的运算性能。基于Ascend AI处理器,Mindstudio在算子开发、模型训练及推理应用等不同环节,提供了端到端的Profiler工具。该工具可以帮助用户看到模型从应用层到芯片层的接口和算子耗时,从而准确定位系统的软、硬件性能瓶颈,提高性能分析的效率。

调优主要分为三步:

  • 性能数据采集、解析、分析
  • 性能问题定位,发现性能瓶颈点
  • 采取性能优化措施

性能分析简要介绍

image.png

通过命令行采集性能数据

数据采集方式

.msprof.bin

image.png

数据采集方式——离线推理

  1. acl.json配置文件方式
  • 打开工程文件,查看调用的aclInit0函数,获取acl.json文件路径
  • 修改acl.json文件,添加Profiling相关配置

image.png

  1. AI任务相关性能数据采集方式 - API接口
API接口类型
  • aclprofinit: 设置落盘路径
  • aclprofCreateConfig: 设置采集参数
  • aclprofStart: 开始采集
  • aclmdlExecute: 执行模型
  • aclprofStop: 结束采集
  • aclprofDestroyConfig: 释放配置资源
  • aclprofFinalize:释放profiling组件资源
API接口规范
  • ACL API(C接口)
  • pyACL API (Python接口)

image.png

  1. 数据采集方式——在线推理与训练
MindSpore

image.png

TensorFlow

环境变量配置:

export PROFILING MODE=true
export PROFILING OPTIONS='"output":"/tmp","training trace":"on""task trace":"on","aicpu":"on,"aic metrics:"PipeUtilization")

训练脚本配置
Estimator模式下,通过NPURunConfig中的profiling_config开启Profiling数据采集。

sess.run模式下,通过session配置项profiling_mode.profiling_options开启Profiling数据采集。

image.png

Pytorch 框架侧数据的采集方法
with torch.autograd.profiler.profile(use_npu= True) as prof:
      for epoch in range(10):
        y_pred = model(x data)
        loss = loss_func(y_pred, y_data)
        loss.backward()
profexport_chrome_trace( 'profiler.json')

image.png

Pytorch CANN侧数据的采集方法
config=torch_npu.npu.profileConfig(
    ACL_PROF_ACL_API=True,
    ACL_PROF_TASK_TIME=False,
    ACL_PROF_AICPU=False,
    AC_PROF_AICORE_METRICS=False,
    aiCoreMetricsType=0)
with torch.npu.profile (profiler_result_path, config=config) as prof:
    for epoch in range(10):
      y_pred = model(x data)
      loss = loss_func(y_pred, y_data)
      loss.backward()

image.png

同时采集PyTorch框架侧和CANN数据

msprof.bin

with torch.npu.profile (profiler result path, use e2e profiler=True) as prof:
    for epoch in range(10):
      y_pred = model(x data)
      loss = loss func(y_pred, y_data)
      loss.backward()

image.png

对比不同迭代的耗时
with torch.npu.profile (profiler_result_path) as prof:
    for epoch in range(10):
       torch_npu.npu.iteration_start()
       Y_pred = model(x data)
       loss = loss_func (y_pred, y_data)
       loss.backward()
       torch_npu.npu.iteration end()


msprof --export=on --output= fprof path] --iteration-id=3

image.png

仅采集需要的迭代

def execute model():
      y_pred = model(x data)
      loss = loss_func(y_pred, y_data)
      loss.backward()
for epoch in range(10):
   if epoch != 2:
      execute model()
   else:
      with torch.npu.profile (profiler_result_path) as prof:
          execute model()
for epoch in range(10):
   if epoch == 2:
     torch_npu.npu.prof_init(profiler_result_path)
     torch_npu.npu.prof_start()
   execute model()
   if epoch == 2:
     torch_npu.npu.prof_stop()
     torch_npu.npu.prof_finalize()

image.png

  1. Profiling数据说明

(1) Step trace timeline数据: step trace数据查看选代耗时情况,识别较长选代进行分析。

msporf --export=on --output=prof_path

image.png
image.png

(2) 对应迭代的msprof timeline数据: 通过打开导出的msprof数据查看送代内耗时情况,存在较长耗时算子时,可以进一步找算子详细信息辅助定位;存在通信耗时或调度间隙较长时,分析调用过程中接口耗时。

image.png

(3)HCCL timeline数据:通过多卡进行训练时,卡间通信算子也可能导致性能瓶颈。

image.png

(4)打开组件接口耗时统计表:可以查看迭代内AscendCL API 和 Runtime APl的接口耗时情况,辅助分析接口调用对性能的影响。

image.png

(5)打开对应的算子统计表:可以查看送代内每个AI CORE和AI CPU算子的耗时及详细信息,进一步定位分析算子的metrics指标数据,分析算子数据搬运、执行流水的占比情况,识别算子瓶颈点。

image.png

  1. 优化案例——算子融合

image.png
image.png

通过MindStudio IDE分析性能

IDE模式

集群调优

image.png
image.png
image.png

目录
相关文章
|
26天前
|
人工智能 自然语言处理 算法
几款宝藏级AI阅读工具推荐!论文分析、文档总结必备神器!
【10月更文挑战第8天】几款宝藏级AI阅读工具推荐!论文分析、文档总结必备神器!
58 1
几款宝藏级AI阅读工具推荐!论文分析、文档总结必备神器!
|
3月前
|
JSON 数据格式
【Axure高手秘籍】掌握这招,让你的原型设计效率飙升!——元件库导入与使用教程及主流资源下载全解析
【8月更文挑战第20天】Axure RP是界面设计与交互原型制作的强大工具。掌握元件库能显著提升设计效率。元件库包含预设UI元素如按钮、表单等,可直接拖放构建布局。在Axure RP中,通过“元件”选项下的“库”可访问并导入新元件库。导入后,轻松拖放元件至画布调整,甚至自定义样式和交互。利用脚本还能模拟真实交互效果,如按钮点击反馈。推荐资源包括Axure Marketplace、UIZilla等,助力高效设计。
70 0
|
3月前
|
数据可视化
可视化神器,必须分享给宝子们,太香了
可视化神器,必须分享给宝子们,太香了
|
6月前
|
Java 开发者
效率工具RunFlow完全手册之Java开发者篇
这篇手册面向Java开发者,介绍了如何使用QLExpress执行Java代码和进行方法验证。示例包括数学计算、读取系统环境变量及格式化输出。QLExpress提供运行时执行Java代码的功能,并支持QLExpress语法的脚本文件。
44 3
效率工具RunFlow完全手册之Java开发者篇
|
6月前
|
存储 JSON 数据格式
效率工具RunFlow完全手册之进阶篇
RunFlow进阶指南包括搜索文件、计算器、解散文件夹、独立窗口运行、数据导入导出(JSON格式)及同步(本地及云服务如OneDrive)。此外,还提供定时任务功能,利用Cron表达式设定如每日12点执行清理。
66 1
效率工具RunFlow完全手册之进阶篇
|
6月前
|
人工智能 前端开发 机器人
【杂谈】扣子(Coze) 初体验
扣子(Coze)是什么 官方原文如下: 扣子(coze.cn)是一款用来开发新一代 AI Chat Bot 的应用编辑平台,无论你是否有编程基础,都可以通过这个平台来快速创建各种类型的 Chat Bot,并将其发布到各类社交平台和通讯软件上。 我们可以理解为一个聊天🤖️,可以在其他平台上发布。那就让我们快速开始吧
906 0
|
Java 关系型数据库 MySQL
“阿里爸爸”上新!《2023阿里Java性能调优手册(实战参考)》
现在行业变化太快,裁员缩招屡见不鲜,而应对的方法即是--核心竞争力。打磨自己的专业技能,成为本职行业的前百分之二十,行业再怎么变动,你总能安身立命。 在任何一个细分领域内,成为前1%,拼的是天赋,是智力决定的。但若仅仅想要成为20%,成为被二八定律眷顾的那波人,拼的就是努力了,没有学霸的智商,得有学渣不要脸的劲!!
|
存储 人工智能 算法
【MindStudio训练营第一季】MindStudio 高精度对比随笔
训练场景下,迁移原始网络 (如TensorFlow、PyTorch) ,用于NPU上执行训练,网络迁移可能会造成自有实现的算子运算结果与用原生标准算子运算结果存在偏差。
194 1
|
机器学习/深度学习 人工智能 数据可视化
【MindStudio训练营第一季】MindStudio 可视化AI应用开发体验随笔
Mind Studio 提供一站式AI开发环境,依靠工具与性能调优,采用插件化扩展机制,打造高效、便捷的全流程开发工具链。目前最新版本是5.0.RC3,发布于2022年20月,对应的昇腾社区版本:6.0.RC1,新增众多特性。
348 1
|
C# 决策智能 数据安全/隐私保护
运筹优化学习24:Gurobi902注册、下载、安装教程【保姆级手把手教学】
运筹优化学习24:Gurobi902注册、下载、安装教程【保姆级手把手教学】
运筹优化学习24:Gurobi902注册、下载、安装教程【保姆级手把手教学】