开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope运行LLama2-7b-ms模型,请问报CPU不支持半精度类型的错误该怎么办?

ModelScope运行LLama2-7b-ms模型,请问报CPU不支持半精度类型的错误该怎么办?
6e58f14a75ebf87032382086b0e3c6f9.png

展开
收起
青城山下庄文杰 2023-08-12 10:37:04 245 0
2 条回答
写回答
取消 提交回答
  • 只有GPU可以-此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-08-15 08:32:00
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    这个错误表明在使用"addmm"操作时,CPU不支持半精度类型(Halft)的计算。解决这个问题的方法之一是将输入数据转换为CPU支持的其他精度类型,例如浮点数类型(float)。

    你可以尝试以下方法来解决这个问题:

    数据类型转换:将输入数据从半精度类型(Halft)转换为浮点数类型(float)。你可以使用PyTorch的to()函数来完成这个转换。例如:
    python
    Copy
    input_data = input_data.to(torch.float)
    修改模型:如果你有模型的源代码,你可以尝试修改模型的定义,将输入数据的类型从Halft修改为float。在模型的定义中搜索并修改数据类型相关的代码。

    更换硬件或软件环境:如果你的硬件或软件环境不支持半精度计算,你可以尝试使用支持半精度计算的硬件(如GPU)或软件(如CUDA)来运行模型。

    2023-08-13 09:22:15
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
RDS SQL Server CPU高使用率性能优化 立即下载