.ModelScope从modelhub直接下载的模型需要通过vllm部署的时候需要在什么地方设置？
ValueError: Loading /home/admin/.cache/modelscope/hub/tclf90/glm-4-9b-chat-GPTQ-Int8/ requires you to execute the configuration file in that repo on your local machine. Make sure you have read the code there to avoid malicious use, then set the option trust_remote_code=True to remove this error.ModelScope从modelhub直接下载的模型需要通过vllm部署的时候需要在什么地方设置trust_remote_code=True？
展开
收起
1
条回答
写回答
写回答
-
您参考这条命令，VLLM_USE_MODELSCOPE=True python -m vllm.entrypoints.openai.api_server --model="qwen/Qwen-7B-Chat" --revision="v1.1.8" --trust-remote-code。此回答整理自钉钉群“魔搭ModelScope开发者联盟群 ①”
2024-08-28 11:27:00赞同 展开评论 打赏
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
6982
ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
2655
ModelScope默认的下载位置是在哪里？
864
modelscope-funasr的FunClip怎么安装的？
239
ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
3133
请问ModelScope中，怎么修改本地运行，模型自动下载到 c 盘下？
4379
服务器上onnxruntime-gpu 调用结束，如何释放显存
4556
无法导入 modelscope，已经pip install了
2628
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
1733
com/action/joingroup?code=v1是什么意思
6014
展开全部
阿里云通义千问向全社会开放！
24631
multi-agent：多角色Agent协同合作，高效完成复杂任务
31260
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
9775
社区供稿 | 10G显存，通义千问-7B-int4消费级显卡最佳实践
26270
大模型时代，还缺一只雨燕 ｜ SWIFT：魔搭社区轻量级微调推理框架
3376
vanna+qwen实现私有模型的SQL转换
4070
【机器学习】集成学习——Stacking模型融合（理论+图解）
2503
从RMSE和MSE到更多选择：探索机器学习模型性能指标
2786
开源版图生视频I2VGen-XL：单张图片生成高质量视频
3189
NPU推理&微调大模型实战
1252
展开全部
