备案控制台

开发者社区 > ModelScope模型即服务 > 正文

ModelScope中，为什么用vllm推理比pt多了三倍的显存？

"ModelScope中，为什么用vllm推理比pt多了三倍的显存？

"

展开

收起

小小爱吃香菜 2024-07-24 08:30:25 36 0

1 条回答

写回答

取消提交回答

为了利利

vllm有显存预分配，--gpu_memory_utilization 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2024-07-24 16:22:24

赞同 1 展开评论打赏

相关问答

modelscope-funasr这个中文模型在使用过程中推理结果会识别出现英文，为什么？

12

1

0

想请问下ModelScope里Vllm部署了qwen1.5-32B之后，它无限输出日志怎么解决？

65

0

0

ModelScope 报显存不够如下图怎么解决？

39

1

0

modelscope-funasr的paraformer推理的显存是有什么决定的，为啥会不太稳定？

22

1

0

modelscope-funasr使用离线这个推理示例音频的时候，报了错误，是为什么？

10

1

0

在modelscope-funasr当音频文件超过一个小时后，显存溢出怎么解决？

15

1

0

modelscope里用vllm调用千问1.5-7b流式输出，没输出完就结束了，有限制输出多少字吗?

32

1

0

.ModelScope从modelhub直接下载的模型需要通过vllm部署的时候需要在什么地方设置？

31

1

0

在modelscope-funasr中推理的输出结果准确率要比直接推理的低，是参数有问题吗？

19

1

0

ModelScope中，把推理脚本改成这样了，报下面的错，怎么解决？

20

1

0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？

ModelScope默认的下载位置是在哪里？

请问ModelScope中，怎么修改本地运行，模型自动下载到 c 盘下？

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

服务器上onnxruntime-gpu 调用结束，如何释放显存

无法导入 modelscope，已经pip install了

modelscope-funasr的FunClip怎么安装的？

modelscope上跑报错，提示要pip install ttsfrd，搞不定

com/action/joingroup?code=v1是什么意思

展开全部

阿里云通义千问向全社会开放！

multi-agent：多角色Agent协同合作，高效完成复杂任务

Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估

开源版图生视频I2VGen-XL：单张图片生成高质量视频

vanna+qwen实现私有模型的SQL转换

ChatGPT中文版杀疯了,已登录AI模型市场

中文大模型体验

大模型时代，还缺一只雨燕｜ SWIFT：魔搭社区轻量级微调推理框架

Phi-3：小模型，大未来！（附魔搭社区推理、微调实战教程）

从RMSE和MSE到更多选择：探索机器学习模型性能指标

展开全部

相关课程

更多

个性化语音合成模型微调

246

1

去学习

ModelScope社区Library技术架构介绍

220

1

去学习

相关电子书

更多

视觉AI能力的开放现状及ModelScope实战 立即下载

ModelScope助力语音AI模型创新与应用 立即下载

低代码开发师（初级）实战教程 立即下载