ModelScope的vllm需要单独启动服务吗？
ModelScope的vllm需要单独启动服务吗？
，vllm只能用在cuda12.1吗？
展开
收起
1
条回答
写回答
写回答
-
vllm还不支持量化模型，之前有个民间版本可以参考一下：https://github.com/chu-tianxiang/vllm-gptq 此回答整理自钉群 “魔搭ModelScope开发者联盟群 ①”
2023-12-13 16:56:06赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
10377
com/action/joingroup?code=v1是什么意思
7743
我希望通过damo-YOLO训练1500*1500的图片
9000
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2478
服务器上onnxruntime-gpu 调用结束，如何释放显存
5532
我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
858
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2176
ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
1005
请问transformer里的库导入有问题是什么原因呢？目前的版本是4.19.2
1608
modelscope cache 环境变量是啥？
2924
展开全部
ColorFlow：腾讯和清华大学联合推出的图像序列着色模型，通过参考图像的颜色对黑白漫画进行着色生成彩色漫画
372
HelloMeme：开源的面部表情与姿态迁移框架，将视频中的人物表情迁移到静态图像中生成动态视频
102
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
240
Genesis：卡内基梅隆大学联合 20 多所研究机构开源生成式物理引擎，能够模拟各种材料、物体和物理运动现象
63
AniDoc：蚂蚁集团开源 2D 动画上色 AI 模型，基于视频扩散模型自动将草图序列转换成彩色动画，保持动画的连贯性
60
DisPose：清华北大等多所高校联合推出基于人物图像增强视频生成技术，实现对人物动画的准确控制和一致性
43
InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
41
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
1062
X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
45
StyleStudio：支持图像风格迁移的文生图模型，能将融合参考图像的风格和文本提示内容生成风格一致的图像
37
展开全部
