您好,请问ModelScope:我使用魔塔平台提供的模型,运行,出现内存不够,请问如何操作?最大16

您好,请问ModelScope:我使用魔塔平台提供的模型,运行,出现内存不够,请问如何操作?最大16G显存不够用?是需要自动搭建更大显存的服务器吗?b016bdbd444c91aa5071ef9f81791f28.png 模型,使用官方推荐的免费试用服务器,显示内存不够,可以自定义这个显卡内存吗? 1e56005982630ea577ca72d7e049a7d8.jpg

展开
收起
真的很搞笑 2023-05-20 17:00:31 256 分享 版权
1 条回答
写回答
取消 提交回答
  • 是的 现在大模型,几十亿,百亿参数的模型,确实可能出现显存不够的情况(CUDA out of memory),目前官方的免费服务器只有16G显存的暂时不可以自定义,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-05-20 17:16:07
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

还有其他疑问?
咨询AI助理