AI 助理
文档备案控制台
开发者社区 ModelScope模型即服务 正文

【请问】使用modelscope模型服务部署GPU模型，vllm的参数如何设置

  • 请问，使用模型服务部署GPU模型时，需要设置vLLM serve的--enable-auto-tool-choice 和 --tool-call-parser 等参数，应当如何操作？

  • image.png

展开
收起
大哉乾元00 2026-01-22 07:47:28 177 分享 版权
0 条回答
写回答
取消 提交回答
相关问答
支付宝H5 下载的时候，提示 【请确保该下载文件来源安全,如需浏览,请长按网址复制后使用浏览器访问】
274903
12
0
this xml file does not appear to have any style in
57834
11
0
购买阿里国外的云服务器是否可以访问谷歌？
89416
49
0
如何升级配置
538862
16
0
访问ECS服务器的网站提示“由于你访问的URL可能对网站造成安全威胁，您的访问被阻断”，这是什么原因？
138893
16
0
今天刚刚买的阿里云香港服务器，国内无法访问，坑啊
37204
17
0
#支付宝 授权提示请在支付宝客户端打开链接
20078
19
0
com/action/joingroup?code=v1是什么意思
222433
21
0
sql server的用户名和密码怎么查啊？
39403
21
0
OSS的endpoint如何查看
38599
6
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉答疑群：44837352

我要提问

相关文章

  • 工程师高培解读XilinxVivadoFPGA设计进阶与AI自动编程
  • Serverless 架构下 AI Agent 工程化落地的几个关键点
  • 构建AI Agent时，我重新思考了后端架构的四个问题
  • 前端组件库——WeUI知识点大全（三）
  • vLLM 部署 Qwen3-397B-A17B 技术解析：FP8 八卡 H100 推理服务全攻略

    • 相关解决方案

    更多
  • 一键训练模型及部署GPU共享推理服务
  • OpenAI 重磅开源，快速部署GPT-OSS模型
  • 快速部署DeepSeek-OCR
  • 一键部署幻兽帕鲁游戏服务器
  • 部署 Nginx 并通过 Ingress 暴露服务

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • 我下载的gguf文件，最新的LMSTUDIO仍然无法识别什么问题
  • 如何下载modelscope模型？
  • ModelScope下载速度慢怎么解决？
  • 如何训练属于自己的“通义千问”呢？
  • ModelScope中，灵积模型服务怎么看 账单比如 如何看我的免费token额度还剩下多少?
  • com/action/joingroup?code=v1是什么意思
  • modelscope显示每天有2000次的API免费额度，在500次的时候，就提示限流了
  • 在ModelScope的Notebook中运行Agent，跳转页面后一直加载中是怎么回事？
  • qwen3-32b和qwen-2.5-32b-Instruct有什么区别
    • 展开全部
  • 嵌入式开发必备！Keil uVision5 C51 V9.61 安装激活 + 汉化完整教程, 含（Keil MDK 5.39）
  • Qwen3.5 中等规模模型系列正式开源：更强智能，更低算力
  • 【Seedance 2.0 技术解析】：字节跳动电影级多模态视频生成模型全景剖析
  • OpenClaw（原 Clawdbot）钉钉对接保姆级教程 手把手教你打造自己的 AI 助手
  • HTTPS 原理
  • AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署
  • MiniMax M2.7开源: 模型开始迭代自己了！
  • MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
  • 阿里云通义千问向全社会开放！
  • LTX-2.3开源： 视频生成引擎级升级
    • 展开全部
    还有其他疑问?
    咨询AI助理