ModelScope是不是 Qwen1.5-14B-Chat是不是需要 cuda 12.1 才能跑?

想问下,ModelScope是不是 Qwen1.5-14B-Chat,是不是需要 cuda 12.1 才能跑?我试着升级vllm 到 0.3.1,但是0.3.1对应的应该是 CUDA 12.1,当前我的环境是CUDA 11.8.这样升级后,环境能跑Qwen-14B-Chat这种旧版本的模型吗?

展开
收起
陈幕白 2024-02-26 21:12:15 139 分享 版权
1 条回答
写回答
取消 提交回答
  • 有cu118呀de3ef98cff3c1c15512b83381312ddc5.png 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-02-26 21:56:23
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

还有其他疑问?
咨询AI助理