.ModelScope从modelhub直接下载的模型需要通过vllm部署的时候需要在什么地方设置？
ValueError: Loading /home/admin/.cache/modelscope/hub/tclf90/glm-4-9b-chat-GPTQ-Int8/ requires you to execute the configuration file in that repo on your local machine. Make sure you have read the code there to avoid malicious use, then set the option trust_remote_code=True to remove this error.ModelScope从modelhub直接下载的模型需要通过vllm部署的时候需要在什么地方设置trust_remote_code=True？
展开
收起
1
条回答
写回答
写回答
-
您参考这条命令，VLLM_USE_MODELSCOPE=True python -m vllm.entrypoints.openai.api_server --model="qwen/Qwen-7B-Chat" --revision="v1.1.8" --trust-remote-code。此回答整理自钉钉群“魔搭ModelScope开发者联盟群 ①”
2024-08-28 11:27:00赞同 展开评论 打赏
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
热门讨论
热门文章
ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
5610
modelscope下载 的模型 如何转ollama
750
ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
4374
ModelScope中，模型下载默认路径在哪个路径？
10392
com/action/joingroup?code=v1是什么意思
7772
幻兽帕鲁怎么搭建服务器
974
modelscope-funasr的FunClip怎么安装的？
2515
modelscope上跑报错，提示要pip install ttsfrd，搞不定
7933
我希望通过damo-YOLO训练1500*1500的图片
9012
无法导入 modelscope，已经pip install了
3789
展开全部
阿里云通义千问向全社会开放！
53479
最佳实践！使用 GraphRAG + GLM-4 对《红楼梦》全文构建中文增强检索
1364
ColorFlow：腾讯和清华大学联合推出的图像序列着色模型，通过参考图像的颜色对黑白漫画进行着色生成彩色漫画
393
WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
334
OpenAI 12天发布会内容全纪录！一文快速回顾获知亮点信息，原文附发布会中文字幕视频
188
multi-agent：多角色Agent协同合作，高效完成复杂任务
34323
CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
272
Qwen开源视觉推理模型QVQ，更睿智地看世界！
131
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
2479
通义千问72B、1.8B、Audio模型开源！魔搭社区最佳实践来啦！
6212
展开全部
