开发者社区 > ModelScope模型即服务 > 正文

跑通义千问ModelScope-7B-Chat的例子,会出现图中问题,请问怎么处理?

"跑通义千问ModelScope-7B-Chat的例子,会出现图中问题,请问怎么处理? d814aaa2208216fabaa98eb852f49b39.png 229fd06460d7fddb6b996be437036f27.png

You are trying to offload the whole model to the disk. Please use the disk_offload function instead"

展开
收起
小小爱吃香菜 2024-06-26 08:32:38 342 0
2 条回答
写回答
取消 提交回答
  • 显存不够了。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-06-28 19:55:13
    赞同 展开评论 打赏
  • 报错的意识是要你使用disk_offload函数来卸载模型
    image.png
    image.png
    具体可以参考一下这个github上的例子

    2024-06-26 11:10:35
    赞同 2 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

相关电子书

更多
达摩院通义视觉生成大模型 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载