AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

ModelScope GPU超出了 我该怎么释放缓存呢？

ModelScope GPU超出了 我该怎么释放缓存呢？就是刚刚运行了一次这个模型 然后又运行就提示这个1d289fa0949661ea355bd0ed18ce916f.png
695cb06576ba8be21b57fd59d9e1f05e.png

展开
收起
夹心789 2024-06-09 16:22:19 83 分享 版权
1 条回答
写回答
取消 提交回答
  • 芯在这

    用Qlora微调，可以减少一半的显存。减少max_samples、num_train_epochs、per_device_train_batch_size等参数，都可以，只会会增加训练时间。 ，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-06-11 09:42:48
    赞同 展开评论
相关问答
在modelscope-funasr如果使用GPU的话这个编译需要改什么？
71
0
0
modelscope-funasr的GPU调用失败了，是什么原因？
71
0
0
modelscope-funasr的GPU离线转写服务的说话人识别模块要怎么配置啊？
100
0
0
modelscope-funasr的 docker gpu1.1 容器中启动服务时，报这个是啥问题？
75
1
0
modelscope-funasr能支持用gpu来做实时转写吗？
56
0
0
modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的是一样的么？
66
0
0
在modelscope-funasr中funasr 中文实时的可以gpu部署吗？
69
0
0
modelscope-funasr有没有GPU docker直接安装啊？
56
0
0
modelscope-funasr使用gpu转写服务部署指南，asr模型还是会需要导出为onnx吗？
67
0
0
modelscope-funasr的gpu docker离线转写有dockerfile参考么？
38
0
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • MySQL的架构与SQL语句执行过程
  • springboot事务-失效的情况
  • 如何优化前端性能以提高加载速度
  • Redis应用—1.在用户数据里的应用
  • 如何精准做到合同到期后不再发生业务？还是邻家系统做得真好！

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope下载速度慢怎么解决？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • com/action/joingroup?code=v1是什么意思
  • ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
  • 无法导入 modelscope，已经pip install了
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
  • ModelScope服务器太差了，下个模型断断续续的，有解决办法吗？
    • 展开全部
  • 深度评测 | 仅用3分钟，百炼调用满血版 Deepseek-r1 API，百万Token免费用，简直不要太爽。
  • 本地部署DeepSeek模型
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • 通义万相Wan2.1视频模型开源！视频生成模型新标杆，支持中文字效+高质量视频生成
  • Qwen2.5-Max：阿里通义千问超大规模 MoE 模型，使用超过20万亿tokens的预训练数据
  • Step-Video-T2V：碾压Sora？国产开源巨兽Step-Video-T2V杀到：300亿参数一键生成204帧视频
  • KTransformers：告别天价显卡！国产框架让单卡24G显存跑DeepSeek-R1 671B大模型：推理速度飙升28倍
  • 阿里云PAI部署DeepSeek及调用
  • 手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型，创建个性化 AI 助手
  • MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
    • 展开全部
    还有其他疑问?
    咨询AI助理