备案控制台登录注册

开发者社区 ModelScope模型即服务正文

ModelScope中，为什么用vllm推理比pt多了三倍的显存？

"ModelScope中，为什么用vllm推理比pt多了三倍的显存？

"

收起

小小爱吃香菜 2024-07-24 08:30:25 169 发布于吉林版权

举报

1 条回答

写回答

取消提交回答

为了利利

vllm有显存预分配，--gpu_memory_utilization 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2024-07-24 16:22:24 举报

赞同 1 1

评论
全部评论 (1)
登录后可评论
aliyun1680749526
这个参数计算的比例是整个显卡的，还是显卡的剩余可用显存呢？
2024-09-18 17:37:02
赞同回复举报

相关问答

想请问下ModelScope里Vllm部署了qwen1.5-32B之后，它无限输出日志怎么解决？

204

0

0

ModelScope 报显存不够如下图怎么解决？

112

1

0

modelscope-funasr的paraformer推理的显存是有什么决定的，为啥会不太稳定？

71

1

0

modelscope-funasr使用离线这个推理示例音频的时候，报了错误，是为什么？

61

1

0

在modelscope-funasr当音频文件超过一个小时后，显存溢出怎么解决？

99

1

0

modelscope里用vllm调用千问1.5-7b流式输出，没输出完就结束了，有限制输出多少字吗?

112

1

0

.ModelScope从modelhub直接下载的模型需要通过vllm部署的时候需要在什么地方设置？

473

1

0

在modelscope-funasr中推理的输出结果准确率要比直接推理的低，是参数有问题吗？

53

1

0

ModelScope中，把推理脚本改成这样了，报下面的错，怎么解决？

55

1

0

对modelscope的实体命名预训练模型进行微调上出现错误

81

1

0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

ModelScope下载速度慢怎么解决？

我希望通过damo-YOLO训练1500*1500的图片

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

com/action/joingroup?code=v1是什么意思

ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？

modelscope上跑报错，提示要pip install ttsfrd，搞不定

在魔塔社区-模型服务里面一键部署的deepseek模型怎么使用？

无法导入 modelscope，已经pip install了

ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？

展开全部

深度评测 | 仅用3分钟，百炼调用满血版 Deepseek-r1 API，百万Token免费用，简直不要太爽。

WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈

通义万相Wan2.1视频模型开源！视频生成模型新标杆，支持中文字效+高质量视频生成

Qwen2.5-Max：阿里通义千问超大规模 MoE 模型，使用超过20万亿tokens的预训练数据

本地部署DeepSeek模型

阿里云PAI部署DeepSeek及调用

KTransformers：告别天价显卡！国产框架让单卡24G显存跑DeepSeek-R1 671B大模型：推理速度飙升28倍

MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用

手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型，创建个性化 AI 助手

智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐

展开全部

还有其他疑问?

你好，我是AI助理

可以解答问题、推荐解决方案等