开发者社区 > ModelScope模型即服务 > 正文

ModelScope中使用开源的千问1_8预训练模型微调后测试模型的时候报错,怎么解决?

"ModelScope中使用开源的千问1_8预训练模型微调后测试模型的时候报错,怎么解决? :RuntimeError: probability tensor contains either `inf` , `nan` or element < 0 51d36e0ca983ea07db95176d3e667c1b.png
推理过程中我打印了权重:Warning: Found NaN or Inf in parameter transformer.h.22.mlp.w1.weight
Warning: Found NaN or Inf in parameter transformer.h.22.mlp.w2.weight
Warning: Found NaN or Inf in parameter transformer.h.22.mlp.c_proj.weight
Warning: Found NaN or Inf in parameter transformer.h.23.attn.c_attn.weight
Warning: Found NaN or Inf in parameter transformer.h.23.attn.c_proj.weight
Warning: Found NaN or Inf in parameter transformer.h.23.mlp.w1.weight
Warning: Found NaN or Inf in parameter transformer.h.23.mlp.w2.weight
Warning: Found NaN or Inf in parameter transformer.h.23.mlp.c_proj.weight"

展开
收起
小小爱吃香菜 2024-07-17 08:15:34 61 0
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

相关电子书

更多
移动无线之测试到质量的转变 立即下载
前端自动化测试 立即下载
ICA安全标准组测试认证分享 立即下载