热门
ModelScope的vllm需要单独启动服务吗？，vllm只能用在cuda12.1吗？
vllm还不支持量化模型，之前有个民间版本可以参考一下：https://github.com/chu-tianxiang/vllm-gptq 此回答整理自钉群 “魔搭ModelScope开发者联盟群 ①”
包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域
，vllm只能用在cuda12.1吗？
