AI 助理
备案控制台
开发者社区 ModelScope模型即服务 计算机视觉 正文

ModelScope中，我想量化下这个模型，modelscope 有对应的方法和文档么？

ModelScope中，我用swift lora微调了一个qwen 14b模型，然后合并了原模型和微调部分，但部署的时候太耗费资源了，我想量化下这个模型，modelscope 有对应的方法和文档么

展开
收起
多麻辣哦 2023-11-22 20:39:27 336 分享 版权
2 条回答
写回答
取消 提交回答
  • sunrr

    您好，ModelScope 是一个一站式的开源模型即服务共享平台。对于模型量化的需求，您可以采用 BitsAndBytes 方法来进行8bits量化。这种方法在量化后能基本保持性能无损，并且已经集成到了 transformers 库中。基于 BitsAndBytes，ModelScope 提供了在线量化和离线8bits模型两种方式。此外，为了进一步优化模型的部署效率，您还可以考虑使用低比特量化模型，例如 Yi-34B-Chat 的 4bit 量化版模型，这种模型可以在消费级显卡（如RTX3090）上直接使用。

    2023-11-29 10:58:00
    赞同 展开评论
  • 超爱吃辣

    目前千问有一个qwen.cpp可以做c++部署
    https://github.com/QwenLM/qwen.cpp
    ——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①

    2023-11-22 21:38:57
    赞同 展开评论
相关问答
有没有什么方法可以提升modelscope-funasr对人名、地名的识别率？
118
1
0
请问用modelscope里swift的dpo微调模型的断点Debug方式，有相关文档说明吗？
217
1
0
modelscope CPU跑chatglm有什么加速的方法嘛？
111
1
0
modelscope-funasr这个量化模型在哪里下载？
156
0
0
在modelscope-funasr中手工启动服务 如何操作 有具体的文档吗?
68
0
0
在modelscope-funasr中有没有基于源码，制作dockerFile的文档?
54
0
0
ModelScope有啥方法提高一下呢？
70
0
0
请问ModelScope有没有批量语句调用方式？详细的调用文档在哪里呢？
78
1
0
ModelScope有没有对各种大模型使用各种微调方法所需要显存的统计？
133
1
0
modelscope-funasr的kantts装不上，有没有什么方法？
88
0
0
ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

相关文章

  • μNAS：面向微控制器的约束神经架构搜索——论文解读
  • AR 巡检与普通巡检有哪些区别，有哪些优势｜阿法龙XR云平台
  • RFID技术让高校电动车进出更简便
  • Edge Impulse：面向微型机器学习的MLOps平台——论文解读

    • 热门讨论

    热门文章

  • cpu部署报错 Torch not compiled with CUDA enabled
  • ModelScope中，模型下载默认路径在哪个路径？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • 如何下载modelscope模型？
  • com/action/joingroup?code=v1是什么意思
  • ModelScope下载速度慢怎么解决？
  • 服务器上onnxruntime-gpu 调用结束，如何释放显存
  • ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
  • 在ModelScope中，请问模型下载到本地的具体方法？
  • modelscope cache 环境变量是啥？
    • 展开全部
  • Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
  • LHM：单图生成3D动画人！阿里开源建模核弹，高斯点云重构服装纹理
  • EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
  • video-analyzer：开源视频分析工具，支持提取视频关键帧、音频转录，自动生成视频详细描述
  • InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
  • STAR：南京大学联合字节开源视频超分辨率增强生成框架，视频清晰度一键提升，支持从低分辨率视频生成高分辨率视频
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • JoyCaption：开源的图像转提示词生成工具，支持多种风格和场景，性能与 GPT4o 相当
  • WorldScore：斯坦福开源世界生成模型评估新标杆：3000样本+九维指标，视频/4D/3D模型一网打尽
    • 展开全部
    还有其他疑问?
    咨询AI助理