AI 助理
文档备案控制台
开发者社区 ModelScope模型即服务 正文

请问我本地部署qwen2-7b-instruct，使用的是3090ti，显存24G，为什么会显存不够

image.png
请问我本地部署qwen2-7b-instruct，使用的是3090ti，显存24G，为什么会显存不够呢

展开
收起
klayc 2024-06-26 10:23:01 498 分享 版权
1 条回答
写回答
取消 提交回答
  • richard9902

    用集成显卡显示，3090ti用于微调，采用linux操作系统，是否会好点？

    2024-10-24 17:03:31
    赞同 展开评论
相关问答
如何本地部署语言大模型？
232
1
0
Qwen3 32B,14B,8B大模型部署分别需要多少显存，GPU服务器如何选？
4726
1
0
部署大模型Qwen3 32B,14B,8B参数的大模型部署分别需要多少显存？
4117
1
0
本地部署开源模型Qwen2.5-coder-32b，和直接使用线上api同样参数的模型，差距很大
819
1
0
ModelScope有没有对各种大模型使用各种微调方法所需要显存的统计？
184
1
0
大模型应用推理要至少80GB 显存，有什么推荐的服务器？
361
1
0
本地部署生成式大模型需要什么配置？
148
0
0
可否在本地部署上述的Qwen1.5-7B-chat模型？
219
1
0
在大模型推理中，如何解决显存瓶颈问题？
294
3
0
ModelScope中，Qwen2-54B-A14B大概需要多少显存？最小需要多少显存？
325
1
0