AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

千问2.5-14B-Instruct-GPTQ-Int8支持微调吗

千问2.5-14B-Instruct-GPTQ-Int4、Int8这种模型支持自我认知微调和agent微调吗？

展开
收起
1870992051875295 2025-03-18 09:42:30 31 发布于浙江 分享
分享
 版权
举报
1 条回答
写回答
取消 提交回答
  • 游客asmykbi75vdso

    就我所知，量化的版本一般是用来推理的，微调训练还是得找fp32，fp16或者bf16这种浮点数据类型的

    2025-03-21 09:44:59 举报
    赞同 62 评论

    评论

    全部评论 (0)

    登录后可评论
相关问答
ModelScope中使用开源的千问1_8预训练模型微调后测试模型的时候报错，怎么解决？
137
0
0
ModelScope中，使用swift对qwen-7b-chat-int4进行微调，图中报错咋办？
87
0
0
ModelScope中，使用qlora微调qwen1.5-14b-chat-int4,报错了？
139
0
0
ModelScope中，请问图中在通义千问1.5-7B上微调报错如何解决？
92
1
0
ModelScope中，只做推理，千问1.5_7b-int4，在p40显卡下能跑吗？
97
1
0
open webui 里面通义千问7B和llama3 8b都可以总结文档，通义14B出来是乱码
165
0
0
qwen-vl可以用lora而不是qlora去微调int4版本的ModelScope模型吗?
129
1
0
通义千问1.5-1.8B-Chat，ModelScope微调模型的代码目录和手册有吗？
101
1
0
swift微调款框架使用自定义数据集进行通义千问1.5的微调
182
0
0
modelscope中，infer_main是不是不支持微调后的int4模型？
51
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • 关于wan2.1显存占用的问题
  • lmstudio拉起qwq-32b-q3_k_m.gguf模型报错？
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • 无法导入 modelscope，已经pip install了
  • llama factory微调报错CUDA未被检测！
  • ModelScope下载速度慢怎么解决？
  • 我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
    • 展开全部
  • Agent TARS：一键让AI托管电脑！字节开源PC端多模态AI助手，无缝集成浏览器与系统操作
  • 用自然语言控制电脑，字节跳动开源 UI-TARS 的桌面版应用！内附详细的安装和配置教程
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • vanna+qwen实现私有模型的SQL转换
  • 高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
  • Manus再遭复刻！开源多智能体协作工具，实时查看每个AI员工的"脑回路"
  • Reve Image：设计师失业警告！AI秒出海报级神图，排版自动搞定
  • ChatMCP：基于 MCP 协议开发的 AI 聊天客户端，支持多语言和自动化安装 MCP 服务器
  • pdf-craft：PDF秒转Markdown/EPUB！接入DeepSeek轻松生成电子书，自动整理目录、注释和引文
  • CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
    • 展开全部
    还有其他疑问?
    咨询AI助理