开发者社区 > ModelScope模型即服务 > 正文

使用web-ui部署的时候报错 "Mixed using with peft is not all"

先使用web-ui训练一个模型,数据集使用自定义的,然后训练完成后在web-ui上选中刚才训练的模型,直接点击部署,然后就报错,错误如下:

Traceback (most recent call last):
File "/opt/conda/lib/python3.10/site-packages/swift/cli/deploy.py", line 5, in
deploy_main()
File "/opt/conda/lib/python3.10/site-packages/swift/utils/run_utils.py", line 31, in x_main
result = llm_x(args, **kwargs)
File "/opt/conda/lib/python3.10/site-packages/swift/llm/deploy.py", line 514, in llm_deploy
model, template = prepare_model_template(args)
File "/opt/conda/lib/python3.10/site-packages/swift/llm/infer.py", line 206, in prepare_model_template
model = Swift.from_pretrained(
File "/opt/conda/lib/python3.10/site-packages/swift/tuners/base.py", line 972, in from_pretrained
return SwiftModel.from_pretrained(
File "/opt/conda/lib/python3.10/site-packages/swift/tuners/base.py", line 362, in from_pretrained
raise ValueError('Mixed using with peft is not allowed now.')
ValueError: Mixed using with peft is not allowed now.

推理框架默认是pt,
image.png
改为其他两个选项,依然会报错。

部署命令如下(没有设置peft相关参数):

swift deploy --model_type qwen1half-7b-chat --template_type qwen --system You are a helpful assistant. --repetition_penalty 1.05 --ckpt_dir /mnt/workspace/output/qwen1half-7b-chat/v3-20240506-182158 --port 8000 --log_file /mnt/workspace/output/qwen1half-7b-chat-202456182431/run_deploy.log --ignore_args_error true

展开
收起
1612816160616751 2024-04-26 20:02:52 30 0
2 条回答
写回答
取消 提交回答
  • 部署命令,不知道哪里有peft设置,为什么会报这种错误?

    swift deploy --model_type qwen1half-7b-chat --template_type qwen --system You are a helpful assistant. --repetition_penalty 1.05 --ckpt_dir /mnt/workspace/output/qwen1half-7b-chat/v3-20240506-182158 --port 8000 --log_file /mnt/workspace/output/qwen1half-7b-chat-202456182431/run_deploy.log --ignore_args_error true

    2024-05-06 18:47:58
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    重新检查您在 Web UI 或命令行中输入的参数,确保它们是正确的,并且没有包含与 PEFT 相关的参数。

    2024-04-28 08:16:27
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!

热门讨论

热门文章

相关电子书

更多
Web应用系统性能优化 立即下载
高性能Web架构之缓存体系 立即下载
PWA:移动Web的现在与未来 立即下载