sam模型迁移昇腾训练loss不收敛问题的解决办法

简介: 在将SAM模型迁移到昇腾平台时,遇到了精度问题。具体表现为NPU训练的loss图从一开始就未收敛,而GPU则正常收敛。通过使用Ascend开源仓的msprobe工具进行精度对比,发现NPU丢失了image_embedding的梯度,原因在于torch_npu版本与PyTorch不匹配,导致`repeat_interleave_backward_tensor`函数调用失败。最终通过选择与PyTorch配套的torch_npu版本解决了问题,loss图恢复正常。

一、问题描述

1.在进行sam模型迁移到昇腾的时候存在精度问题,模型链接:

https://github.com/facebookresearch/segment-anything

2 .两台机器上训练loss图对比,发现从一开始训练的时候就出现了差别,从图中对比看出来npu第一步就开始没有向下收敛,而gpu是向下收敛。

image.png

二、问题分析过程

1.准备dump精度对比看看区别,使用Ascend开源仓的msprobe工具进行精度对比

debug/accuracy_tools/msprobe/docs/01.installation.md · Ascend/mstt - Gitee.com

工具安装命令:

pip install mindstudio-probe

2.然后在训练脚本部分加代码,按照示例添加代码

使用示例可参见Ascend开源仓的PyTorch 场景的精度数据采集示例代码 2.1 快速上手2.2 采集完整的前反向数据

3.添加start函数

功能说明:启动精度数据采集,在模型初始化之后的位置添加,需要与 stop 函数一起添加在 for 循环内。

debugger.start(model=None)

model:指定具体的torch.nn.Module,默认未配置,level 配置为"L0"或"mix"时,必须在该接口或 PrecisionDebugger 接口中配置该参数。 本接口中的 model 比 PrecisionDebugger 中 model 参数优先级更高,会覆盖 PrecisionDebugger 中的 model 参数。

4.添加stop函数

功能说明:停止精度数据采集,在 start 函数之后的任意位置添加,若需要 dump 反向数据,则需要添加在反向计算代码(如,loss.backward)之后。

debugger.stop()
from msprobe.pytorch import PrecisionDebugge
debugger = PrecisionDebugger(config_path='./config.json')
...
debugger.start() # 一般在训练循环开头启动工具
... # 循环体
debugger.stop() # 一般在训练循环末尾结束工具
debugger.step() # 在训练循环的最后需要重置工具,非循环场景不需要

这里的config.json也可以设置很多种类型,这里选用tensor模式和mix级。

{
    "task": "tensor",
    "dump_path": "/home/data_dump",
    "rank": [],
    "step": [],
    "level": "mix",
    "tensor": {
        "scope": [],
        "list":[],
        "data_mode": ["all"]
    }
}

5.直接运行训练脚本,在数据dump下来之后 跟gpu的精度进行对比。


图 3 npu和gpu精度的对比


npu在这里丢了image_embedding的梯度,因为该模型用到了Reg_op(RepeatInterleaveGrad)这个算子,接下来分析cann包是否有这个算子 发现是有的 但是通过进入python后调用torch_npu.repeat_interleave_backward_tensor这个函数,发现调用失败。



调用失败显示 :AttributeError: module 'torch_npu' has no attribute 'repeat_interleave_backward_tensor'

6.查看torch_npu版本,发现是2.1post3和pytorch2.1版本不配套。

三、解决方法

通过查看昇腾torch_npu的版本与pytorch的配套表,选择对应的torch_npu版本:https://gitee.com/ascend/pytorch

选用配套版本后,函数调用成功,loss图也正常。

相关文章
|
9月前
|
机器学习/深度学习
大模型训练loss突刺原因和解决办法
【1月更文挑战第19天】大模型训练loss突刺原因和解决办法
1265 1
大模型训练loss突刺原因和解决办法
|
机器学习/深度学习
神经网络训练loss不下降原因以及解决办法
神经网络训练loss不下降原因以及解决办法
2566 0
|
人工智能
【YOLOV5模型训练】-模型训练需要改动的几个地方
模型训练需要修改的几个地方
191 0
【YOLOV5模型训练】-模型训练需要改动的几个地方
TF学习——TF之TFOD:基于TFOD AP训练ssd_mobilenet预模型+faster_rcnn_inception_resnet_v2_模型训练过程(TensorBoard监控)全记录(一)
TF学习——TF之TFOD:基于TFOD AP训练ssd_mobilenet预模型+faster_rcnn_inception_resnet_v2_模型训练过程(TensorBoard监控)全记录
TF学习——TF之TFOD:基于TFOD AP训练ssd_mobilenet预模型+faster_rcnn_inception_resnet_v2_模型训练过程(TensorBoard监控)全记录(一)
|
监控 TensorFlow 算法框架/工具
TF学习——TF之TFOD:基于TFOD AP训练ssd_mobilenet预模型+faster_rcnn_inception_resnet_v2_模型训练过程(TensorBoard监控)全记录(二)
TF学习——TF之TFOD:基于TFOD AP训练ssd_mobilenet预模型+faster_rcnn_inception_resnet_v2_模型训练过程(TensorBoard监控)全记录
|
9月前
|
机器学习/深度学习 算法 Serverless
YoLo_V4模型训练过程
YoLo_V4模型训练过程
125 0
|
数据采集 机器学习/深度学习 自然语言处理
本地训练,开箱可用,Bert-VITS2 V2.0.2版本本地基于现有数据集训练(原神刻晴)
按照固有思维方式,深度学习的训练环节应该在云端,毕竟本地硬件条件有限。但事实上,在语音识别和自然语言处理层面,即使相对较少的数据量也可以训练出高性能的模型,对于预算有限的同学们来说,也没必要花冤枉钱上“云端”了,本次我们来演示如何在本地训练Bert-VITS2 V2.0.2模型。
本地训练,开箱可用,Bert-VITS2 V2.0.2版本本地基于现有数据集训练(原神刻晴)
|
6月前
|
机器学习/深度学习
CNN网络编译和训练
【8月更文挑战第10天】CNN网络编译和训练。
104 20
|
9月前
|
测试技术
首个基于Mamba的MLLM来了!模型权重、训练代码等已全部开源
【5月更文挑战第6天】Cobra,首个基于Mamba的多模态大语言模型,开源了其权重和训练代码。Cobra结合Mamba的高效语言模型与视觉模态,以线性计算复杂度提升MLLM效率,适用于更多实际场景。通过优化模态融合,Cobra在速度、性能和参数效率上超越现有方法,如在封闭集挑战预测中表现优秀,并能在参数量减少的情况下保持强效性能。[链接](https://arxiv.org/pdf/2403.14520v2.pdf)
151 1
|
9月前
|
缓存 自然语言处理 监控
ModelScope评估二次训练模型报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
501 0

热门文章

最新文章