ModelScope中，我想量化下这个模型，modelscope 有对应的方法和文档么？
ModelScope中，我用swift lora微调了一个qwen 14b模型，然后合并了原模型和微调部分，但部署的时候太耗费资源了，我想量化下这个模型，modelscope 有对应的方法和文档么
展开
收起
2
条回答
写回答
写回答
-
您好，ModelScope 是一个一站式的开源模型即服务共享平台。对于模型量化的需求，您可以采用 BitsAndBytes 方法来进行8bits量化。这种方法在量化后能基本保持性能无损，并且已经集成到了 transformers 库中。基于 BitsAndBytes，ModelScope 提供了在线量化和离线8bits模型两种方式。此外，为了进一步优化模型的部署效率，您还可以考虑使用低比特量化模型，例如 Yi-34B-Chat 的 4bit 量化版模型，这种模型可以在消费级显卡（如RTX3090）上直接使用。
2023-11-29 10:58:00赞同 展开评论 打赏 -
目前千问有一个qwen.cpp可以做c++部署
https://github.com/QwenLM/qwen.cpp
——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①2023-11-22 21:38:57赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
10120
com/action/joingroup?code=v1是什么意思
7536
我希望通过damo-YOLO训练1500*1500的图片
8877
服务器上onnxruntime-gpu 调用结束，如何释放显存
5427
请问transformer里的库导入有问题是什么原因呢？目前的版本是4.19.2
1548
ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？
3637
ModelScope在使用pipeline的时候分配gpu设备，没有用呀？
749
我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
799
ModelScope中，我的推理卡，v100，不支持fp16，我要怎么改？
940
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2781
展开全部
OOTDiffusion：开源AI虚拟试衣工具，智能适配性别和体型自动调整衣物
65
See3D：智源研究院开源的无标注视频学习 3D 生成模型
46
Director：构建视频智能体的 AI 框架，用自然语言执行搜索、编辑、合成和生成等复杂视频任务
44
SNOOPI：创新 AI 文本到图像生成框架，提升单步扩散模型的效率和性能
37
Aurora：xAI 为 Grok AI 推出新的图像生成模型，xAI Premium 用户可无限制访问
36
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
105
Sketch2Lineart：AI绘画工具，自动将手绘草图转换成清晰的线条画
118
HunyuanVideo：腾讯推出的开源视频生成模型，参数高达130亿
93
VISION XL：支持四倍超分辨率的 AI 视频修复处理工具，提供去除模糊、修复缺失等功能
30
ClotheDreamer：上海大学联合腾讯等高校推出的3D服装生成技术
27
展开全部
