我在跑通义千问的test, 但是出现了RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'
的
提示,请问怎么解决啊
这个问题我解决了,我来回答一下我是怎么解决的吧。
首先,是魔搭社区的Qwen主页的例子有错误。下面是魔搭主页的例子
而下面是github上面的例子
可以看到魔搭社区的中的前两句把Qwen/Qwen-7B-Chat
错写成了qwen/Qwen-7B-Chat
, 而这个问题魔搭主页没有修改,反而github主页修改了,这就可以看出来魔搭的地位了。
第二个修改,我用的服务器不能用cuda,所以不能使用fp16, 把fp16的选项删掉就可以了。(不是很懂,但是我猜如果设定fp16 = True
的话,会肯定调用cuda的)
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True).eval()
PS: 感觉魔搭的社区活跃度相比github还是差太多了
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352