ModelScope中量化报错怎么办？
ModelScope中量化报错怎么办？
我是参加这里训练的，这里是qlora吗，我记得训练是lora的，
展开
收起
1
条回答
写回答
写回答
-
如果需要更新ms-swift包，请执行 pip install ms-swift -U 命令，使用lora进行训练可以支持模型导出，因此应避免用qlora训练，而且后者不支持vllm加速且合并lora时可能造成大的精度损失。建议检查训练超参数和ckpt_dir文件夹下的sft_args.json中的model_type，另外推理时直接运行 swift infer 命令。此回答来自钉群魔搭ModelScope开发者联盟群 ①。
2024-03-05 17:16:21赞同 展开评论 打赏
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
7911
modelscope-funasr的FunClip怎么安装的？
714
ModelScope默认的下载位置是在哪里？
1491
open webui的RAG功能根本用不起来
216
com/action/joingroup?code=v1是什么意思
6237
ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
3049
ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
3481
modelscope上跑报错，提示要pip install ttsfrd，搞不定
7145
无法导入 modelscope，已经pip install了
2828
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
1869
展开全部
阿里云通义千问向全社会开放！
26060
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
10230
multi-agent：多角色Agent协同合作，高效完成复杂任务
31724
【机器学习技巧】回归模型的几个常用评估指标（R2、Adjusted-R2、MSE、RMSE、MAE、MAPE）及其在sklearn中的调用方式
4189
从RMSE和MSE到更多选择：探索机器学习模型性能指标
3036
modelscope模型库列表
5560
社区供稿 | 10G显存，通义千问-7B-int4消费级显卡最佳实践
26500
开源版图生视频I2VGen-XL：单张图片生成高质量视频
3411
“魔搭”来了！一文深度解读达摩院推出的AI模型社区
6855
AIGC技术解读：数据集、算法、模型和结果处理
3406
展开全部
