微调后的ModelScope模型不支持合并，vllm-gptq也不支持？
qwen-7b-chat-int4量化微调的部署，微调后的ModelScope模型不支持合并，vllm-gptq也不支持？
展开
收起
1
条回答
写回答
写回答
-
量化qlora训练的模型 没有方法merge lora的, 在原生pt部署中兼容这种情况。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2024-01-23 10:54:59赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
9873
com/action/joingroup?code=v1是什么意思
7359
服务器上onnxruntime-gpu 调用结束，如何释放显存
5326
我希望通过damo-YOLO训练1500*1500的图片
8756
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2031
ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？
3547
ModelScope-Agent-7B本地加载模型，需要多少gpu显存呢？
804
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2720
ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
877
请问transformer里的库导入有问题是什么原因呢？目前的版本是4.19.2
1480
展开全部
Sketch2Lineart：AI绘画工具，自动将手绘草图转换成清晰的线条画
68
LTX Video：Lightricks推出的开源AI视频生成模型
41
关键点检测从入门到进阶
1324
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
958
一种基于YOLOv8改进的高精度红外小目标检测算法 （原创自研）
462
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
21
ViewExtrapolator：南洋理工联合UCAS团队推出的新型视图合成方法
20
OneDiffusion：无缝支持双向图像合成和理解的开源扩散模型
18
YOLOv10实战：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制 | NEU-DET为案列进行展开
643
关于flux.1 loras的8个问题
372
展开全部
