ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？这边显存剩余21G，内存剩余12G跑起来提示out of memory
展开
收起
2
条回答
写回答
写回答
-
Qwen-14B-Chat-Int4模型的内存占用量取决于您的输入数据大小和batch size。一般来说，如果您的batch size较小（例如16或32），则可以使用较少的显存和内存来运行该模型。但是，如果您需要处理更大的batch size，则需要更多的显存和内存。
根据官方文档，Qwen-14B-Chat-Int4模型的最小batch size为8，最大batch size为512。因此，您可以根据您的显存和内存限制调整batch size的大小。如果您的显存剩余21G，内存剩余12G跑起来提示out of memory，您可以尝试减小batch size的大小，或者增加可用的显存和内存。
2023-11-09 11:04:12赞同 展开评论 打赏 -
https://github.com/QwenLM/Qwen#gpu-memory-usage 参考这里——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①
2023-11-08 21:40:06赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
7275
ModelScope中，模型下载默认路径在哪个路径？
9759
服务器上onnxruntime-gpu 调用结束，如何释放显存
5267
我希望通过damo-YOLO训练1500*1500的图片
8698
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2258
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
1986
ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？
3510
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2692
ModelScope下载速度慢怎么解决？
1010
ttsfrd 如何在windows安装
997
展开全部
