AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

vllm部署模型，参数如何指定

首先感谢modelscope提供平台！让个人用户也有会接触并使用大模型！

Q：模型服务中部署模型，基于vllm架构如何指定参数？
根据vllm的doc，启动命令需要添加--enable-auto-tool-choice --tool-call-parser hermes， 但平台部署只看到环境变量的配置，没有看到指定参数的能力。

展开
收起
通义千问 QwQ-32B
1238188867416902 2025-12-31 15:42:29 22 分享 版权
0 条回答
写回答
取消 提交回答
相关问答
购买阿里国外的云服务器是否可以访问谷歌？
84227
47
0
请问下 我访问接口不通 什么原因 Provisional headers are shown
4086
1
0
重启Docker后报错：Error response from daemon
2533
0
0
this xml file does not appear to have any style in
52199
10
0
LoRa的网络覆盖能力范围是怎么样的？
3330
1
0
域名在腾讯云备案成功，解析到阿里云服务器，提示仍需备案？
61131
32
0
sql server的用户名和密码怎么查啊？
37735
21
0
域名在阿里买的，服务器在百度买的，域名备案在百度云也通过备案了，现在怎么将阿里云的域名解析到百度
3808
1
0
OSS的endpoint如何查看
37657
6
0
yyyy-MM-dd'T'HH：mm：ss.SSSZZ和yyyy-MM-dd'T'HH：mm：ss.
39949
9
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • 最佳实践丨让苏东坡“复活”！我用Qwen3-8B实现了与千古文豪的跨时空对话
  • 全来店×蚂蚁百宝箱：智能体开启连锁餐饮智慧化服务新时代
  • 贝聿铭的 “数字续作”：蚂蚁百宝箱 × 苏州博物馆，用 AI 重构文化地标
  • 一年输送旅客数千万次，浦东国际机场的效率秘密藏在这个智能体里
  • 宝塔部署AstrBot及Napcat防踩坑教程

    • 热门讨论

    热门文章

  • 在modelscope-funasr想自己训练一种low resource 的方言，有训练的方案吗？
  • modelscope-funasr实时ASR的微调该怎么操作？
  • modelscope-funasr中8k模型与16k的区别有文档介绍或者说明吗？一直没找到在哪里？
  • modelscope-funasr的paraformer热词版本配置是不是不支持添加权重？
  • modelscope-funasr的paraformer模型从0训练可以用来做 音频识别音素模型吗？
  • modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？
  • 在modelscope-funasr同样的文件，文本强制对齐，有时运行成功，有时运行爆显存，为什么？
  • modelscope-funasr支持粤语么？
  • modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu？
  • modelscope-funasr如何释放显存呢？
    • 展开全部
  • Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
  • ComfyUI-Copilot：阿里把AI助手塞进ComfyUI：一句话生成工作流，自动布线/调参/选模型，小白秒变大神！
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • 中文大模型体验
  • 手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型，创建个性化 AI 助手
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • 宝塔部署AstrBot及Napcat防踩坑教程
  • KAG：增强 LLM 的专业能力！蚂蚁集团推出专业领域知识增强框架，支持逻辑推理和多跳问答
    • 展开全部
    还有其他疑问?
    咨询AI助理