ModelScope的这种情况我们该怎么调整？
使用Qwen-1_8B-Chat微调我们自己的数据，--custom_train_dataset_path 和 --custom_val_dataset_path 指定我们的数据，sft_type=full时，--eval_human true验证结果随机，--eval_human false效果还可以；sft_type=lora，我们自己的数据特征直接没学习到。ModelScope的这种情况我们该怎么调整？以下是lora训练的命令行参数PYTHONPATH=../../.. \
CUDA_VISIBLE_DEVICES=0,1 \
torchrun \
--nproc_per_node=$nproc_per_node \
--master_port 29500 \
/mnt/10101/staryea/aigc/modelscope_tuning/swift-main/examples/pytorch/llm/llm_sft.py \
--model_id_or_path qwen/Qwen-1_8B-Chat \
--model_revision master \
--sft_type lora \
--template_type qwen \
--dtype AUTO \
--output_dir output \
--ddp_backend nccl \
--train_dataset_sample -1 \
--val_dataset_sample -1 \
--num_train_epochs 1 \
--max_length -1 \
--check_dataset_strategy warning \
--gradient_checkpointing true \
--batch_size 1 \
--w
写回答
-
lora训练的命令行参数贴一下，然后sft_type=lora 你需要指定 --lora_target_modules ALL.
eval_human true验证结果随机, 你应该是输入格式和数据集中的prompt不一致 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”2024-02-26 21:59:13赞同 展开评论 打赏
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
