开发者社区 > ModelScope模型即服务 > 正文

modelscope中,建议用lora微调后再去量化还是直接用qlora去微调呢?

modelscope中,建议用lora微调后再去量化还是直接用qlora去微调呢?

展开
收起
Lucidly 2024-03-18 19:48:55 78 0
2 条回答
写回答
取消 提交回答
  • 在ModelScope中,对于模型微调和量化的顺序,通常建议先进行微调以优化模型在特定任务上的性能,然后再进行量化以减少模型大小和提高推理效率。因此,针对Lora模型,您可以先使用原版Lora进行微调以适应您的数据集和任务需求,之后再采用量化技术(如QLora)来压缩模型,这样既能保证模型精度又能满足部署时对资源的需求。

    2024-03-19 11:18:40
    赞同 展开评论 打赏
  • lora。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-03-18 20:43:13
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载