备案控制台

开发者社区 > ModelScope模型即服务 > 正文

请问modelscope微调好的模型怎么用vllm 部署？

https://github.com/QwenLM/Qwen1.5/blob/main/docs/source/deployment/vllm.rst 请问modelscope微调好的模型怎么用vllm 部署？

展开

收起

小小爱吃香菜 2024-04-16 21:25:01 132 0

1 条回答

写回答

取消提交回答

为了利利

用命令行或web-ui部署都可以。vllm部署前需要merge。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2024-04-16 22:17:03

赞同 2 展开评论打赏

相关问答

在modelscope-funasr中funasr 中文实时的可以gpu部署吗？

13

0

0

ModelScope微调之后没有效果是数据集太少了吗？

9

1

0

ModelScope中，微调参数里面有可能会导致模型回复中断的参数或者是数据里面没有长文本的数据？

6

1

0

ModelScope中，Qwen2微调的文档有吗？

19

1

0

ModelScope有没有对各种大模型使用各种微调方法所需要显存的统计？

7

1

0

ModelScope有没有switf微调框架，所有参数设置的说明？

8

1

0

modelscope-funasr微调训练的过程中，为什么log里面没有cer_ctc这个指标？

15

0

0

modelscope-funasr在微调的时候怎么没有计算字符错误率的指标？

11

1

0

modelscope的swift昨天部署还是正常运行的，今天重启电脑后就一直报错如下错误，怎么解决？

9

1

0

modelscope-funasr的docker部署怎么实现自启动服务？

12

0

0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

com/action/joingroup?code=v1是什么意思

ModelScope默认的下载位置是在哪里？

ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

服务器上onnxruntime-gpu 调用结束，如何释放显存

无法导入 modelscope，已经pip install了

请问ModelScope中，怎么修改本地运行，模型自动下载到 c 盘下？

modelscope上跑报错，提示要pip install ttsfrd，搞不定

是modelscope版本不对还是哪个模块没装？

展开全部

未来语音交互新纪元：FunAudioLLM技术揭秘与深度评测

multi-agent：多角色Agent协同合作，高效完成复杂任务

Llama 3开源！魔搭社区手把手带你推理，部署，微调和评估

阿里云通义千问向全社会开放！

vanna+qwen实现私有模型的SQL转换

开源版图生视频I2VGen-XL：单张图片生成高质量视频

大模型时代，还缺一只雨燕｜ SWIFT：魔搭社区轻量级微调推理框架

多模态AI单词助记模型体验

Phi-3：小模型，大未来！（附魔搭社区推理、微调实战教程）

【RAG实践】Rerank，让RAG更近一步

展开全部

相关课程

更多

个性化语音合成模型微调

242

1

去学习

ModelScope社区Library技术架构介绍

219

1

去学习

相关电子书

更多

视觉AI能力的开放现状及ModelScope实战 立即下载

ModelScope助力语音AI模型创新与应用 立即下载

低代码开发师（初级）实战教程 立即下载