modelscope中，为什么量化后，使用原生torch推理，速度还更慢了？
modelscope中，为什么量化后，使用原生torch推理，速度还更慢了？
展开
收起
1
条回答
写回答
写回答
-
这边测了Qwen1.5-1.8B-Chat-GPTQ-Int4和Qwen1.5-1.8B-Chat，推理时间差别不大，偶尔会有量化版本时间更长的情况。 awq量化，使用VLLM加速，https://github.com/modelscope/swift/blob/main/docs/source/LLM/Qwen1.5%E5%85%A8%E6%B5%81%E7%A8%8B%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2024-03-19 16:51:36赞同 1 展开评论 打赏
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
热门讨论
热门文章
ModelScope下载速度慢怎么解决？
2776
ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
7046
ModelScope中，模型下载默认路径在哪个路径？
11340
ModelScope服务器太差了，下个模型断断续续的，有解决办法吗？
891
ollama+open-webui的一个小问题
502
我希望通过damo-YOLO训练1500*1500的图片
9719
com/action/joingroup?code=v1是什么意思
8607
本地部署开源模型Qwen2.5-coder-32b，和直接使用线上api同样参数的模型，差距很大
200
ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
5085
关于模型的下载，huggingface下载速度太慢，如何在modelscope快速下载？
6125
展开全部
深度评测 | 仅用3分钟，百炼调用满血版 Deepseek-r1 API，百万Token免费用，简直不要太爽。
132583
AnythingLLM：34K Star！一键上传文件轻松打造个人知识库，构建只属于你的AI助手，附详细部署教程
2403
AstrBot：轻松将大模型接入QQ、微信等消息平台，打造多功能AI聊天机器人的开发框架，附详细教程
2154
阿里云通义千问向全社会开放！
58480
本地部署DeepSeek模型
1235
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型，创建个性化 AI 助手
3385
阿里云PAI部署DeepSeek及调用
1901
Qwen2.5-Max：阿里通义千问超大规模 MoE 模型，使用超过20万亿tokens的预训练数据
1671
VISION XL：支持四倍超分辨率的 AI 视频修复处理工具，提供去除模糊、修复缺失等功能
2103
MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
851
展开全部
