魔搭创空间使用vllm,如何不从modelscope下载模型而是加载本地上传的模型

我在魔搭的创空间里部署了一个模型,并使用了正常的vllm来加载模型,但是他每次都会从modelscope里下载模型,但我已经在创空间里上传了模型,我希望他可以直接加载本地模型,该怎么设置参数

展开
收起
happyzzm-30416 2024-05-08 16:50:04 738 分享 版权
1 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉答疑群:44837352

还有其他疑问?
咨询AI助理