AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

量化后ModelScope推理报以上错cuda out of memory怎么解决呢？

"259d3e23987d3847bb86f361d9c88497.png

量化后ModelScope推理报以上错cuda out of memory怎么解决呢？"

展开
收起
小小爱吃香菜 2024-03-12 17:22:33 120 分享 版权
1 条回答
写回答
取消 提交回答
  • 为了利利

    "拉最新代码安装一下看看。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
    "

    2024-03-12 20:28:32
    赞同 展开评论
相关问答
modelscope-funasr这个量化模型在哪里下载？
197
0
0
在modelscope-funasr中中英文混合的时候有效吗,CUDA加上怎么都不管用?
81
0
0
ModelScope推理时，--max_new_tokens和--max_length有什么区别？
532
1
0
modelscope 使用CPU模式，CUDA也都安装了，这是啥原因呢？
145
1
0
ModelScope训练之后不能merge-lora，也不能用vllm推理了吗？
163
1
0
cuda 是11.3，ModelScope的mmcv怎么安装 ？
207
1
0
modelscope-funasr这个推理cpu的情况下还能加速吗？
162
0
0
modelscope-funasr使用离线长音频版的模型进行推理，出现错误如何处理？
174
1
0
modelscope-funasr这个模型怎么替换到服务端里？
96
1
0
ModelScope中LLaMa2模型怎么搭建？
88
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • “先导杯”上的三张面孔，照亮了国产AI生态的未来
  • 基于元胞自动机的教室人群疏散模拟的Matlab实现
  • 《AMD显卡游戏适配手册：解决画面闪烁、着色器编译失败的核心技术指南》
  • PyTorch 分布式训练底层原理与 DDP 实战指南
  • Flash Decoding完整解决方案：从8倍加速原理到企业级部署实践

    • 热门讨论

    热门文章

  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope中，模型下载默认路径在哪个路径？
  • dataset的版本问题导致与modelscope不兼容
  • ModelScope下载速度慢怎么解决？
  • 如何下载modelscope模型？
  • qwen3-32b和qwen-2.5-32b-Instruct有什么区别
  • ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
  • ModelScope的PAI-DSW中，怎么上传一个文件夹？
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • modelscope中snapshot- download是自带断点续下吗？
    • 展开全部
  • Qwen3-VL新成员 2B、32B来啦！更适合开发者体质
  • 让AI单次生成4万字！WriteHERE：开源AI长文写作框架，单次生成超长文本，小说报告一键搞定！
  • Meta SAM3开源：让图像分割，听懂你的话
  • MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
  • 码上生花：用API链接Qwen-Image系列及衍生LoRA生态模型
  • 一文读懂“大语言模型”
  • AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署
  • DeepSeek-V3.1 发布，迈向 Agent 时代的第一步
  • 最佳实践丨让苏东坡“复活”！我用Qwen3-8B实现了与千古文豪的跨时空对话
  • ModelScope魔搭社区发布月报 -- 25年11月
    • 展开全部
    还有其他疑问?
    咨询AI助理