AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

7b chat做modelscope awq的int4量化，特别容易爆显存，怎么解决？

用swift做对baichuan2 7b chat做modelscope awq的int4量化，特别容易爆显存，怎么解决？

展开
收起
小小爱吃香菜 2024-05-25 20:35:58 131 分享 版权
2 条回答
写回答
取消 提交回答
  • 为了利利

    与vllm预分配显存有关，gpu_memory_utilization, max_model_len这两个可以设置一下哈。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-05-29 08:41:49
    赞同 展开评论
  • 算精通
    北京阿里云ACE会长

    分批处理：

    如果模型太大，无法一次性加载到GPU中，可以考虑将数据分批处理，每次只处理模型的一部分。
    梯度累积：

    使用梯度累积技术，通过在多个小批量上累积梯度，然后一次性更新权重，这样可以减少每次迭代所需的显存。

    2024-05-26 08:00:51
    赞同 6 展开评论
相关问答
ModelScope 报显存不够如下图怎么解决？
112
1
0
modelscope-funasr这个量化模型在哪里下载？
75
0
0
modelscope-funasr的paraformer推理的显存是有什么决定的，为啥会不太稳定？
69
1
0
在modelscope-funasr当音频文件超过一个小时后，显存溢出怎么解决？
98
1
0
ModelScope有没有对各种大模型使用各种微调方法所需要显存的统计？
72
1
0
在modelscope-funasr我设4路的话，它的GPU显存占用就是4G吗？
51
1
0
modelscope-funasr的funclip，4g.显存不够如何解决？
49
0
0
ModelScope中，计算卡的显存是16g， vllm显所用显存也会均匀分布在各个卡上吗？
92
1
0
modelscope-funasr的GPU推理的cpp版本内存和显存不回收的问题怎么解决？
64
0
0
在modelscope-funasr同样的文件，文本强制对齐，有时运行成功，有时运行爆显存，为什么？
62
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • DeepSeek开源Janus-Pro多模态理解生成模型，魔搭社区推理、微调最佳实践
  • SurfGen爬虫：解析HTML与提取关键数据
  • 区块链技术在跨境支付中的应用：打破传统，畅行全球支付新时代
  • ModelScope魔搭25年2月版本发布月报
  • Kimi开源Moonlight-16B-A3B：基于Muon优化器的高效大模型，性能与效率双突破！

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope下载速度慢怎么解决？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • com/action/joingroup?code=v1是什么意思
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • 无法导入 modelscope，已经pip install了
  • ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
  • ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
  • 本地部署开源模型Qwen2.5-coder-32b，和直接使用线上api同样参数的模型，差距很大
    • 展开全部
  • 深度评测 | 仅用3分钟，百炼调用满血版 Deepseek-r1 API，百万Token免费用，简直不要太爽。
  • 本地部署DeepSeek模型
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • 通义万相Wan2.1视频模型开源！视频生成模型新标杆，支持中文字效+高质量视频生成
  • KTransformers：告别天价显卡！国产框架让单卡24G显存跑DeepSeek-R1 671B大模型：推理速度飙升28倍
  • Qwen2.5-Max：阿里通义千问超大规模 MoE 模型，使用超过20万亿tokens的预训练数据
  • Step-Video-T2V：碾压Sora？国产开源巨兽Step-Video-T2V杀到：300亿参数一键生成204帧视频
  • 阿里云PAI部署DeepSeek及调用
  • 手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型，创建个性化 AI 助手
  • AstrBot：轻松将大模型接入QQ、微信等消息平台，打造多功能AI聊天机器人的开发框架，附详细教程
    • 展开全部
    还有其他疑问?
    咨询AI助理