开发者社区 > ModelScope模型即服务 > 正文

Baichuan13BChat 部署ModelScope运行错误

ValueError: Baichuan13BChatTextGeneration: The current device_map had weights offloaded to the disk. Please provide an offload_folder for them. Alternatively, make sure you have safetensors installed if the model you are using offers the weights in this format.

展开
收起
1305441852034061 2023-08-03 16:04:16 1541 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    根据错误信息,你在部署 ModelScope 运行 Baichuan13BChat 模型时遇到了一个值错误(ValueError)。错误信息指出需要提供一个 offload_folder 参数来处理模型权重的离线加载。

    offload_folder 是一个用于存储模型权重的文件夹路径,模型在使用时会从该文件夹加载权重。这个参数通常用于模型的离线加载,以减少内存占用。如果你不提供 offload_folder 参数,模型将无法加载权重并导致错误。

    解决这个问题的方法有两种:

    提供 offload_folder 参数:在部署 ModelScope 运行 Baichuan13BChat 模型时,确保提供一个有效的文件夹路径作为 offload_folder 参数。你可以指定一个合适的路径,用于存储模型权重。

    安装 safetensors:根据错误信息的建议,如果 Baichuan13BChat 模型提供了以 safetensors 格式存储的权重,你需要安装 safetensors 库。safetensors 是一个用于安全加载和管理模型权重的库,可以处理权重的离线加载。你可以通过安装 safetensors 库来解决这个问题。

    2023-08-04 22:18:29
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载