AI 助理
文档备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

训练框架似乎不支持多卡训练，多卡跑GPT-3中文2.7B训练会报错

GPT-3中文2.7B单卡跑训练CUDA显存会炸。因此需要多卡跑，但是切换到多卡后，似乎需要手动拆分模型，否则会报错。

以两张卡为例，直接跑命令“torchrun --nproc_per_node 2 finetune_dureader.py”会报“找不到mp_rank_01_model_states.pt”。

展开
收起
游客qofbdcxycebbe 2023-02-14 14:47:18 1118 分享 版权
2 条回答
写回答
取消 提交回答
  • turbo_zhang

    我也有zh这个问题，交流一下15821444815

    2023-03-08 10:01:44
    赞同 展开评论
  • wljslmz
    公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云 云享专家，BOSS直聘 创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com

    训练框架似乎是支持多卡训练的，最好能拆分，但是拆分的话能做到自动化其实也很方便了。

    2023-02-16 10:11:25
    赞同 1 展开评论
相关问答
自然语言处理
训练一个GPT-3模型大概需要多少计算量和算力？
2128
3
0
nacos因为框架漏洞升级需要 虽然可以自行改造修复 但是gpt建议升级为没有漏洞的版本？
126
0
0
Modelscope在EAS部署了一个模型库的模型，是自己训练的GPT3，为什么现在报了这个错误？
251
3
0
在训练输入输出式的gpt3 的时候，推理出现异常
429
1
0
在使用gpt3 3.7B进行 输入输出的训练问题
255
3
0
有基于GPT3.5训练自己的对话大模型的神龙AI技术方案吗？
189
2
0
阿里云的AIGC训练营试用可以做个人专属gpt的训练嘛?
101
0
0
阿里云ACR的试用可以做个人专属gpt的训练嘛?
119
1
0
您好，请教下ModelScope训练nlp_gpt3_text-generation_1.3B模型增
302
0
0
damo/nlp_gpt3_text-generation_2.7B， 运行示例代码报错
519
1
0