一、问题描述
1.在进行sam模型迁移到昇腾的时候存在精度问题,模型链接:
https://github.com/facebookresearch/segment-anything
2 .两台机器上训练loss图对比,发现从一开始训练的时候就出现了差别,从图中对比看出来npu第一步就开始没有向下收敛,而gpu是向下收敛。
二、问题分析过程
1.准备dump精度对比看看区别,使用Ascend开源仓的msprobe工具进行精度对比
debug/accuracy_tools/msprobe/docs/01.installation.md · Ascend/mstt - Gitee.com
工具安装命令:
pip install mindstudio-probe
2.然后在训练脚本部分加代码,按照示例添加代码
使用示例可参见Ascend开源仓的PyTorch 场景的精度数据采集示例代码 2.1 快速上手和 2.2 采集完整的前反向数据。
3.添加start函数
功能说明:启动精度数据采集,在模型初始化之后的位置添加,需要与 stop 函数一起添加在 for 循环内。
debugger.start(model=None)
model:指定具体的torch.nn.Module,默认未配置,level 配置为"L0"或"mix"时,必须在该接口或 PrecisionDebugger 接口中配置该参数。 本接口中的 model 比 PrecisionDebugger 中 model 参数优先级更高,会覆盖 PrecisionDebugger 中的 model 参数。
4.添加stop函数
功能说明:停止精度数据采集,在 start 函数之后的任意位置添加,若需要 dump 反向数据,则需要添加在反向计算代码(如,loss.backward)之后。
debugger.stop() from msprobe.pytorch import PrecisionDebugge debugger = PrecisionDebugger(config_path='./config.json') ... debugger.start() # 一般在训练循环开头启动工具 ... # 循环体 debugger.stop() # 一般在训练循环末尾结束工具 debugger.step() # 在训练循环的最后需要重置工具,非循环场景不需要
这里的config.json也可以设置很多种类型,这里选用tensor模式和mix级。
{ "task": "tensor", "dump_path": "/home/data_dump", "rank": [], "step": [], "level": "mix", "tensor": { "scope": [], "list":[], "data_mode": ["all"] } }
5.直接运行训练脚本,在数据dump下来之后 跟gpu的精度进行对比。
图 3 npu和gpu精度的对比
npu在这里丢了image_embedding的梯度,因为该模型用到了Reg_op(RepeatInterleaveGrad)这个算子,接下来分析cann包是否有这个算子 发现是有的 但是通过进入python后调用torch_npu.repeat_interleave_backward_tensor这个函数,发现调用失败。
调用失败显示 :AttributeError: module 'torch_npu' has no attribute 'repeat_interleave_backward_tensor'
6.查看torch_npu版本,发现是2.1post3和pytorch2.1版本不配套。
三、解决方法
通过查看昇腾torch_npu的版本与pytorch的配套表,选择对应的torch_npu版本:https://gitee.com/ascend/pytorch
选用配套版本后,函数调用成功,loss图也正常。