ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？

Qwen-14B-Chat-Int4模型的内存占用量取决于您的输入数据大小和batch size。一般来说，如果您的batch size较小（例如16或32），则可以使用较少的显存和内存来运行该模型。但是，如果您需要处理更大的batch size，则需要更多的显存和内存。

根据官方文档，Qwen-14B-Chat-Int4模型的最小batch size为8，最大batch size为512。因此，您可以根据您的显存和内存限制调整batch size的大小。如果您的显存剩余21G，内存剩余12G跑起来提示out of memory，您可以尝试减小batch size的大小，或者增加可用的显存和内存。

https://github.com/QwenLM/Qwen#gpu-memory-usage 参考这里——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①