开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope中,请问Qwen-14B-Chat-Int4运行最少需要多少内存?

ModelScope中,请问Qwen-14B-Chat-Int4运行最少需要多少内存?这边显存剩余21G,内存剩余12G跑起来提示out of memory

展开
收起
多麻辣哦 2023-11-08 20:39:33 1139 0
2 条回答
写回答
取消 提交回答
  • Qwen-14B-Chat-Int4模型的内存占用量取决于您的输入数据大小和batch size。一般来说,如果您的batch size较小(例如16或32),则可以使用较少的显存和内存来运行该模型。但是,如果您需要处理更大的batch size,则需要更多的显存和内存。

    根据官方文档,Qwen-14B-Chat-Int4模型的最小batch size为8,最大batch size为512。因此,您可以根据您的显存和内存限制调整batch size的大小。如果您的显存剩余21G,内存剩余12G跑起来提示out of memory,您可以尝试减小batch size的大小,或者增加可用的显存和内存。

    2023-11-09 11:04:12
    赞同 展开评论 打赏
  • https://github.com/QwenLM/Qwen#gpu-memory-usage 参考这里——此回答整理自钉群:魔搭ModelScope开发者联盟群 ①

    2023-11-08 21:40:06
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
ModelScope助力语音AI模型创新与应用 立即下载
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载