训练gpt3 1.3b 模型的时候 ，迭代到100次，loss 为nan
训练环境 pytorch 1.7.1+cuda11.0+modelscope1.3.1 batchsize 修改为了 2
训练脚本用的官方开源的训练问题生成的脚本: https://modelscope.cn/models/damo/nlp_gpt3_text-generation_1.3B/summary
展开
收起
1
条回答
写回答
写回答
-
发表文章、提出问题、分享经验、结交志同道合的朋友看截图，数据应该没问题，大概率是学习率设置过高，可能会导致权重值变得非常大
2023-02-21 15:58:52赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
