ValueError: Loading /home/admin/.cache/modelscope/hub/tclf90/glm-4-9b-chat-GPTQ-Int8/ requires you to execute the configuration file in that repo on your local machine. Make sure you have read the code there to avoid malicious use, then set the option trust_remote_code=True to remove this error.ModelScope从modelhub直接下载的模型需要通过vllm部署的时候需要在什么地方设置trust_remote_code=True？
您参考这条命令，VLLM_USE_MODELSCOPE=True python -m vllm.entrypoints.openai.api_server --model="qwen/Qwen-7B-Chat" --revision="v1.1.8" --trust-remote-code。此回答整理自钉钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
你好，我是AI助理
可以解答问题、推荐解决方案等
评论
全部评论 (0)