AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

请问我本地部署qwen2-7b-instruct，使用的是3090ti，显存24G，为什么会显存不够

image.png
请问我本地部署qwen2-7b-instruct，使用的是3090ti，显存24G，为什么会显存不够呢

展开
收起
klayc 2024-06-26 10:23:01 366 分享 版权
1 条回答
写回答
取消 提交回答
  • richard9902

    用集成显卡显示，3090ti用于微调，采用linux操作系统，是否会好点？

    2024-10-24 17:03:31
    赞同 展开评论
相关问答
在大模型推理中，如何解决显存瓶颈问题？
218
3
0
Qwen3 32B,14B,8B大模型部署分别需要多少显存，GPU服务器如何选？
1061
1
0
部署大模型Qwen3 32B,14B,8B参数的大模型部署分别需要多少显存？
1526
1
0
本地部署开源模型Qwen2.5-coder-32b，和直接使用线上api同样参数的模型，差距很大
614
1
0
ModelScope有没有对各种大模型使用各种微调方法所需要显存的统计？
134
1
0
大模型应用推理要至少80GB 显存，有什么推荐的服务器？
265
1
0
本地部署生成式大模型需要什么配置？
92
0
0
可否在本地部署上述的Qwen1.5-7B-chat模型？
149
1
0
ModelScope中，Qwen2-54B-A14B大概需要多少显存？最小需要多少显存？
269
1
0
请问一下，ModelScope中一般跑大模型一般多少显存？
82
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

  • dataset的版本问题导致与modelscope不兼容
  • cpu部署报错 Torch not compiled with CUDA enabled
  • ModelScope中，模型下载默认路径在哪个路径？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • com/action/joingroup?code=v1是什么意思
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • 如何下载modelscope模型？
  • ModelScope下载速度慢怎么解决？
  • modelscope显示每天有2000次的API免费额度，在500次的时候，就提示限流了
  • IndexTTS 部署报错：No module named 'tn'
    • 展开全部
  • AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • B站开源IndexTTS2，用极致表现力颠覆听觉体验
  • MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 拿下30个第1名的腾讯混元翻译模型，开源！
  • 智能体（AI Agent）搭建全攻略：从概念到实践的终极指南
  • InternVL3.5多模态大模型开源发布，1B-241B九种尺寸，支持跨平台GUI自动化与矢量图生成
  • AI创作更自由: 魔搭FLowBench云端工作流上线AIGC专区！支持QwenImageEdit免费出图！
  • 开源SOTA：阶跃发布端到端语音大模型Step-Audio 2 mini！
    • 展开全部
    还有其他疑问?
    咨询AI助理