开发者社区 > ModelScope模型即服务 > 正文

通义千问 RuntimeError: "addmm_impl_cpu_" not implement

我在跑通义千问的test, 但是出现了RuntimeError: "addmm_impl_cpu_" not implemented for 'Half' 的
提示,请问怎么解决啊

image.png
image.png

展开
收起
点点DD的小书屋 2023-08-21 01:23:08 2985 1
1 条回答
写回答
取消 提交回答
  • 这个问题我解决了,我来回答一下我是怎么解决的吧。
    首先,是魔搭社区的Qwen主页的例子有错误。下面是魔搭主页的例子
    image.png
    而下面是github上面的例子
    image.png
    可以看到魔搭社区的中的前两句把Qwen/Qwen-7B-Chat 错写成了qwen/Qwen-7B-Chat, 而这个问题魔搭主页没有修改,反而github主页修改了,这就可以看出来魔搭的地位了。

    第二个修改,我用的服务器不能用cuda,所以不能使用fp16, 把fp16的选项删掉就可以了。(不是很懂,但是我猜如果设定fp16 = True 的话,会肯定调用cuda的)

    model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True).eval()
    

    PS: 感觉魔搭的社区活跃度相比github还是差太多了

    2023-08-21 02:40:39
    赞同 18 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

相关电子书

更多
RDS SQL Server CPU高使用率性能优化 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载