AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

awq量化模型，启动时，报图中警告，并且ModelScope模型推理速度非常慢，这应该怎么办？

"WARNING 07-16 14:51:24 config.py:244] awq quantization is not fully optimized yet. The speed can be slower than non-quantized models

使用awq量化模型，启动时，报图中警告，并且ModelScope模型推理速度非常慢，这应该怎么办？"

展开
收起
小小爱吃香菜 2024-07-23 22:44:26 159 发布于吉林 分享
分享
 版权
举报
1 条回答
写回答
取消 提交回答
  • 为了利利

    与未量化的模型对比一下呢。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-07-24 16:03:34 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
相关问答
modelscope PAI-DSW环境notebook如何选择conda管理的python？
75
0
0
modelscope 现在已知的json结构化数据，可以用模型推理出其他图片的json结构么？
52
1
0
modelscope-funasr这个量化模型在哪里下载？
86
0
0
ModelScope的PAI-DSW没有图中问题？
39
0
0
modelscope-funasr热词激励的模型训练阶段的任务会不会导致语音字数预测受到影响？
57
0
0
机器学习PAI训练完的容器已经关闭了，模型文件已经保存到oss， 这里不指定模型文件路径加载啥呢？
67
1
0
机器学习PAI给的dssm 负采样的demo中 模型结构是双塔，输出N个候选item的概率吗？
57
1
0
想在PAI平台里离线调用NLP模型，发现平台不支持比较高的ModelScope版本，要怎么解决呢 ？
60
1
0
请教下ModelScope的语音唤醒模型 训练的过程中报错，怎么解决？
70
0
0
阿里PAI支持哪些大模型的预训练？
52
0
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • lmstudio拉起qwq-32b-q3_k_m.gguf模型报错？
  • 关于wan2.1显存占用的问题
  • 无法导入 modelscope，已经pip install了
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • llama factory微调报错CUDA未被检测！
  • 关于 Windows平台上 ttsfrd 库的问题。
  • modelscope上跑报错，提示要pip install ttsfrd，搞不定
    • 展开全部
  • Agent TARS：一键让AI托管电脑！字节开源PC端多模态AI助手，无缝集成浏览器与系统操作
  • 高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
  • Heygem：开源数字人克隆神器！1秒视频生成4K超高清AI形象，1080Ti显卡也能轻松跑
  • vanna+qwen实现私有模型的SQL转换
  • CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • Manus再遭复刻！开源多智能体协作工具，实时查看每个AI员工的"脑回路"
  • 用自然语言控制电脑，字节跳动开源 UI-TARS 的桌面版应用！内附详细的安装和配置教程
  • ChatMCP：基于 MCP 协议开发的 AI 聊天客户端，支持多语言和自动化安装 MCP 服务器
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
    • 展开全部
    还有其他疑问?
    咨询AI助理