ModelScope中，我想量化下这个模型，modelscope 有对应的方法和文档么？
ModelScope中，我用swift lora微调了一个qwen 14b模型，然后合并了原模型和微调部分，但部署的时候太耗费资源了，我想量化下这个模型，modelscope 有对应的方法和文档么
展开
收起
2
条回答
写回答
写回答
-
您好，ModelScope 是一个一站式的开源模型即服务共享平台。对于模型量化的需求，您可以采用 BitsAndBytes 方法来进行8bits量化。这种方法在量化后能基本保持性能无损，并且已经集成到了 transformers 库中。基于 BitsAndBytes，ModelScope 提供了在线量化和离线8bits模型两种方式。此外，为了进一步优化模型的部署效率，您还可以考虑使用低比特量化模型，例如 Yi-34B-Chat 的 4bit 量化版模型，这种模型可以在消费级显卡（如RTX3090）上直接使用。
2023-11-29 10:58:00赞同 展开评论 打赏 -
目前千问有一个qwen.cpp可以做c++部署
https://github.com/QwenLM/qwen.cpp
——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①2023-11-22 21:38:57赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
3869
ModelScope中，模型下载默认路径在哪个路径？
2979
我希望通过damo-YOLO训练1500*1500的图片
7128
ModelScope 使用14B模型推理时报这个错误？
959
服务器上onnxruntime-gpu 调用结束，如何释放显存
3348
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
1749
Modelscope魔塔的创空间的文件怎么下载到本地呀？
3241
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
1018
联网使用问题
2545
modelscope cache 环境变量是啥？
1844
展开全部
