开发者社区 > ModelScope模型即服务 > 正文

ModelScope的这种情况我们该怎么调整?

使用Qwen-1_8B-Chat微调我们自己的数据,--custom_train_dataset_path 和 --custom_val_dataset_path 指定我们的数据,sft_type=full时,--eval_human true验证结果随机,--eval_human false效果还可以;sft_type=lora,我们自己的数据特征直接没学习到。ModelScope的这种情况我们该怎么调整?以下是lora训练的命令行参数PYTHONPATH=../../.. \
CUDA_VISIBLE_DEVICES=0,1 \
torchrun \
--nproc_per_node=$nproc_per_node \
--master_port 29500 \
/mnt/10101/staryea/aigc/modelscope_tuning/swift-main/examples/pytorch/llm/llm_sft.py \
--model_id_or_path qwen/Qwen-1_8B-Chat \
--model_revision master \
--sft_type lora \
--template_type qwen \
--dtype AUTO \
--output_dir output \
--ddp_backend nccl \
--train_dataset_sample -1 \
--val_dataset_sample -1 \
--num_train_epochs 1 \
--max_length -1 \
--check_dataset_strategy warning \
--gradient_checkpointing true \
--batch_size 1 \
--w

展开
收起
陈幕白 2024-02-26 21:27:34 39 0
1 条回答
写回答
取消 提交回答
  • lora训练的命令行参数贴一下,然后sft_type=lora 你需要指定 --lora_target_modules ALL.
    eval_human true验证结果随机, 你应该是输入格式和数据集中的prompt不一致 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-02-26 21:59:13
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载