ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？这边显存剩余21G，内存剩余12G跑起来提示out of memory
展开
收起
2
条回答
写回答
写回答
-
Qwen-14B-Chat-Int4模型的内存占用量取决于您的输入数据大小和batch size。一般来说，如果您的batch size较小（例如16或32），则可以使用较少的显存和内存来运行该模型。但是，如果您需要处理更大的batch size，则需要更多的显存和内存。
根据官方文档，Qwen-14B-Chat-Int4模型的最小batch size为8，最大batch size为512。因此，您可以根据您的显存和内存限制调整batch size的大小。如果您的显存剩余21G，内存剩余12G跑起来提示out of memory，您可以尝试减小batch size的大小，或者增加可用的显存和内存。
2023-11-09 11:04:12赞同 展开评论 打赏 -
https://github.com/QwenLM/Qwen#gpu-memory-usage 参考这里——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①
2023-11-08 21:40:06赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
10379
com/action/joingroup?code=v1是什么意思
7745
我希望通过damo-YOLO训练1500*1500的图片
9003
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2479
服务器上onnxruntime-gpu 调用结束，如何释放显存
5532
我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
858
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2176
请问transformer里的库导入有问题是什么原因呢？目前的版本是4.19.2
1609
ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
1006
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2849
展开全部
ColorFlow：腾讯和清华大学联合推出的图像序列着色模型，通过参考图像的颜色对黑白漫画进行着色生成彩色漫画
377
HelloMeme：开源的面部表情与姿态迁移框架，将视频中的人物表情迁移到静态图像中生成动态视频
103
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
240
Genesis：卡内基梅隆大学联合 20 多所研究机构开源生成式物理引擎，能够模拟各种材料、物体和物理运动现象
65
AniDoc：蚂蚁集团开源 2D 动画上色 AI 模型，基于视频扩散模型自动将草图序列转换成彩色动画，保持动画的连贯性
61
DisPose：清华北大等多所高校联合推出基于人物图像增强视频生成技术，实现对人物动画的准确控制和一致性
44
InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
43
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
1062
StyleStudio：支持图像风格迁移的文生图模型，能将融合参考图像的风格和文本提示内容生成风格一致的图像
37
CLEAR：新加坡国立大学推出线性注意力机制，使8K图像的生成速度提升6.3倍，显著减少了计算量和时间延迟
36
展开全部
