备案控制台

开发者社区 ModelScope模型即服务正文

图中modelscope量化不需要在导出的时候量化吗？

"
图中modelscope量化不需要在导出的时候量化吗？"

展开

收起

小小爱吃香菜 2024-05-21 22:21:08 52 版权

1 条回答

写回答

取消提交回答

为了利利

您用awq或gptq呢，用的比较多，awq后面可以用vllm。此回答整理自钉钉群“魔搭ModelScope开发者联盟群 ①”

2024-05-22 09:39:23

赞同展开评论

相关问答

modelscope-funasr这个量化模型在哪里下载？

158

0

0

在modelscope-funasr中SeACo-Paraformer模型有导出onnx版吗？

172

0

0

ModelScope导出为ollama的时候提示报错，怎么解决？

311

1

0

ModelScope能不能导出为支持ollama的那种gguf文件呢？

231

0

0

modelscope-funasr使用gpu转写服务部署指南，asr模型还是会需要导出为onnx吗？

133

0

0

ModelScope中，想把阿里云服务器里的dsw实例里的checkpoint文件导出应该怎么操作？

113

1

0

图中ModelScope问题怎么解决？"

85

0

0

图中去除的效果不好，ModelScope有哪些参数可以提高效果的？

76

1

0

ModelScope出现图中错误怎么处理？

115

1

0

ModelScope中，图中这样是不是就安装上了？

73

1

0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

dataset的版本问题导致与modelscope不兼容

ModelScope中，模型下载默认路径在哪个路径？

我希望通过damo-YOLO训练1500*1500的图片

cpu部署报错 Torch not compiled with CUDA enabled

com/action/joingroup?code=v1是什么意思

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

如何下载modelscope模型？

ModelScope下载速度慢怎么解决？

从modelscope下载模型失败，怎么回事？

modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？

展开全部

B站开源IndexTTS2，用极致表现力颠覆听觉体验

智能体（AI Agent）搭建全攻略：从概念到实践的终极指南

AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署

FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！

MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用

智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐

免费！文本表格不会总结、分析？文本表格可视化！帮你轻松解决困扰，保姆级级教程。【附Coze工作流】

拿下30个第1名的腾讯混元翻译模型，开源！

AI创作更自由: 魔搭FLowBench云端工作流上线AIGC专区！支持QwenImageEdit免费出图！

开源SOTA：阶跃发布端到端语音大模型Step-Audio 2 mini！

展开全部

还有其他疑问?