AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

modelscope微调后模型量化的时候， swift是源码部署的报错怎么处理？

"modelscope微调后模型量化的时候，用qwen1half-14b-chat-awq 微调的 swift是源码部署的报错怎么处理？，用这个：CUDA_VISIBLE_DEVICES=0 swift export \ --ckpt_dir 'output/qwen1half-4b-chat/vx-xxx/checkpoint-xxx' \ --merge_lora true --quant_bits 4 \ --load_dataset_config true --quant_method awq报这个错： ac8e7e9d40f0c06d1230f9ead7d4c727.png
"

展开
收起
小小爱吃香菜 2024-04-16 20:49:31 121 分享 版权
1 条回答
写回答
取消 提交回答
  • 为了利利

    拷贝到终端里执行或最前面加个! 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-04-16 22:04:02
    赞同 2 展开评论
相关问答
modelscope-funasr微调时日志结果没有cer_att指标
39
0
0
请问如何使用ms-swift工具验证模型微调的效果？
209
0
0
魔塔的swift web-ui 训练好后模型要怎么导出
172
0
0
swift webui导出模型时报KeyError: 'base_model.model.model
399
2
0
请问用modelscope里swift的dpo微调模型的断点Debug方式，有相关文档说明吗？
270
1
0
ModelScope我试着用swift 微调后 微调的模型都失去逻辑怎么办？
178
1
0
swift 3.0 % 报错，求解答。 ?报错
464
1
0
ModelScope中，使用SWIFT的进行sft报错， 这是要升级驱动？
192
1
0
modelscope的swift昨天部署还是正常运行的，今天重启电脑后就一直报错如下错误，怎么解决？
76
1
0
用swift推理训练后的ModelScope模型，参数里model stype是不是就不需要？
130
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • swift 教程
  • 可调节推理预算，字节Seed团队开源大型语言模型 Seed-OSS 系列！
  • 建造者模式
  • 用Macbook微调Qwen3！手把手教你用微调给Qwen起一个新名字
  • Thinking Machines Lab最新研究结果如何复现？On-Policy Distillation让训练成本直降10倍

    • 热门讨论

    热门文章

  • 如何训练属于自己的AI大模型呢？有没有大佬有相关文档参考学习下
  • qwen3-32b和qwen-2.5-32b-Instruct有什么区别
  • dataset的版本问题导致与modelscope不兼容
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
  • ModelScope下载速度慢怎么解决？
  • 从modelscope下载模型失败，怎么回事？
  • 如何下载modelscope模型？
  • cpu部署报错 Torch not compiled with CUDA enabled
    • 展开全部
  • 万字长文深度解析最新Deep Research技术：前沿架构、核心技术与未来展望
  • Qwen3-VL新成员 2B、32B来啦！更适合开发者体质
  • MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
  • 仅100多元，他给视障人群装上AI“眼睛”
  • AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署
  • Qwen3-VL再添丁！4B/8B Dense模型开源，更轻量，仍强大
  • MiniMax-M2 发布！10B激活，专为高效编码与Agent工作流而生
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • Dolphin：40语种+22方言！清华联合海天瑞声推出的语音识别大模型，识别精度超Whisper两代
  • Open AI Model
    • 展开全部
    还有其他疑问?
    咨询AI助理