开发者社区 > ModelScope模型即服务 > 正文

ModelScope中使用开源的千问1_8预训练模型微调后测试模型的时候报错,怎么解决?

"ModelScope中使用开源的千问1_8预训练模型微调后测试模型的时候报错,怎么解决? :RuntimeError: probability tensor contains either `inf` , `nan` or element < 0 51d36e0ca983ea07db95176d3e667c1b.png
推理过程中我打印了权重:Warning: Found NaN or Inf in parameter transformer.h.22.mlp.w1.weight
Warning: Found NaN or Inf in parameter transformer.h.22.mlp.w2.weight
Warning: Found NaN or Inf in parameter transformer.h.22.mlp.c_proj.weight
Warning: Found NaN or Inf in parameter transformer.h.23.attn.c_attn.weight
Warning: Found NaN or Inf in parameter transformer.h.23.attn.c_proj.weight
Warning: Found NaN or Inf in parameter transformer.h.23.mlp.w1.weight
Warning: Found NaN or Inf in parameter transformer.h.23.mlp.w2.weight
Warning: Found NaN or Inf in parameter transformer.h.23.mlp.c_proj.weight"

展开
收起
小小爱吃香菜 2024-07-17 08:15:34 69 0
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

相关电子书

更多
移动互联网测试到质量的转变 立即下载
给ITer的技术实战进阶课-阿里CIO学院独家教材(四) 立即下载
F2etest — 多浏览器兼容性测试整体解决方案 立即下载