AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

单个GPU显存较小，无法推理，如何设置多卡推理？

我们单个GPU显存较小，无法推理，ms有办法指定多卡推理吗？是device参数吗？

展开
收起
ChatPLUG-开放域对话模型-3.7B
游客o4k5mx22dpaco 2023-05-11 10:44:20 873 发布于广东 分享
分享
 版权
举报
1 条回答
写回答
取消 提交回答
  • chenhehong

    如果GPU显存较小或推理速度较慢，可开启半精度推理。临时的解决方法是使用源代码安装modelscope，然后将 modelscope/models/nlp/fid_T5/text_generation.py 文件76行# self.backbone.half()解除注释，mass后续sdk版本会支持可配置开启/关闭 半精度推理。

    2023-05-19 08:31:12 发布于浙江 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
相关问答
modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？
33717
1
0
ModelScope中示例页面的GPU版本和CPU版本。这两个不同版本会影响推理效率吗？
93
1
0
在modelscope-funasr我设4路的话，它的GPU显存占用就是4G吗？
54
1
0
FunASR离线文件转写服务GPU版本部署，这里的“每路分配1G显存”，在哪里设置呢？
88
0
0
modelscope-funasr用GPU推理，A10和4090在性能上，是不是差很多很多？
226
1
0
12GB以上显存对应的GPU服务器型号有什么？
98
1
0
modelscope-funasr的GPU推理的cpp版本内存和显存不回收的问题怎么解决？
64
0
0
ModelScope中官方有没有文档或者明确说明支持哪些GPU呢，显存是24G的?
58
1
0
函数计算FC设置了最小实例数 在没有时间调用的情况下也会消耗GPU使用量吗？
50
1
0
函数计算serverless哪里设置gpu，能跑大模型吗？
60
1
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • Langchain and RAG Best Practices
  • Linux下搭建本地deepseek(附文档下载)
  • MiniMind：2小时训练出你的专属AI！开源轻量级语言模型，个人GPU轻松搞定
  • 【硬件测试】基于FPGA的4FSK调制解调通信系统开发与硬件片内测试,包含信道模块,误码统计模块,可设置SNR
  • Proxy Lite：仅3B参数的开源视觉模型！快速实现网页自动化，支持在消费级GPU上运行

    • 热门讨论

    热门文章

  • 请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
  • open webui的RAG功能根本用不起来
  • modelscope-funasr在安卓平台可以集成sense voice吗？
  • 关于“[WinError 183] 当文件已存在时，无法创建该文件。” 问题。
  • gpt3,加载数据时，MsDataset.load报错
  • modelscope-funasr的 sense voice和funasr的底层asr能力是一样吗？
  • modelscope-funasr热词怎么设置才有效？
  • modelscope-funasr怎么使用 gpu 加速啊？
  • modelscope-funasr在AutoModel里设置了关闭了，结果还是会打日志，为什么？
  • modelscope-funasr实时ASR的微调该怎么操作？
    • 展开全部
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型，创建个性化 AI 助手
  • KTransformers：告别天价显卡！国产框架让单卡24G显存跑DeepSeek-R1 671B大模型：推理速度飙升28倍
  • DeepSeek Artifacts：在线实时预览的前端 AI 编程工具，基于DeepSeek V3快速生成React App
  • HippoRAG 2：开源RAG框架革新知识检索，多跳推理+持续学习全搞定
  • RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • PsycoLLM：开源的中文心理大模型，免费 AI 心理医生，支持心理健康评估与多轮对话
  • PySpur：零代码构建AI工作流！开源可视化拖拽平台，支持多模态与RAG技术
  • SPO：如何优化提示词？大模型最懂如何优化自己！开源自监督提示词优化工具，让AI自主优化提示词
    • 展开全部
    还有其他疑问?
    咨询AI助理