modelscope中,只想验证custom_val_dataset_path里面的数据,咋改?

"PYTHONPATH=../../.. \
CUDA_VISIBLE_DEVICES=0 \
python /mnt/10101/staryea/aigc/modelscope_tuning/swift-main/examples/pytorch/llm/llm_infer.py \
--ckpt_dir ""output/v3/qwen1half-1_8b-chat/v0-20240401-070137/checkpoint-200"" \
--load_dataset_config true \
--max_length -1 \
--use_flash_attn false \
--max_new_tokens 2048 \
--temperature 0.1 \
--top_p 0.7 \
--do_sample false \
--val_dataset_sample -1 \
--eval_human false \
--custom_val_dataset_path /mnt/10101/staryea/aigc/modelscope_tuning/data/qwen_intent_val_data_v3.jsonl \
modelscope中,只想验证custom_val_dataset_path里面的数据,咋改?"

展开
收起
小小爱吃香菜 2024-04-09 18:10:15 114 分享 版权
阿里云 AI 助理回答

在您提供的命令行指令中,您想要使用自定义验证数据集custom_val_dataset_path来验证模型,而不进行其他额外的训练或采样操作。根据您的需求,可以对命令进行如下调整以专注于验证指定数据集:

PYTHONPATH=../../.. \
CUDA_VISIBLE_DEVICES=0 \
python /mnt/10101/staryea/aigc/modelscope_tuning/swift-main/examples/pytorch/llm/llm_infer.py \
    --ckpt_dir "output/v3/qwen1half-1_8b-chat/v0-20240401-070137/checkpoint-200" \
    --load_dataset_config true \
    --max_length -1 \
    --use_flash_attn false \
    --max_new_tokens 2048 \  # 这个参数控制生成的最大新token数,根据需要可调整或移除
    --temperature 0.1 \  # 温度参数影响生成样本的多样性,设为0则完全按照概率分布选择
    --top_p 0.7 \  # 控制采样时累积概率的阈值,与temperature一起影响生成结果
    --do_sample false \  # 置为false表示不进行采样,直接使用贪婪解码或 beam search(取决于代码实现)
    --val_dataset_sample -1 \  # 使用全部验证集样本,如果只想用自定义的则这个设置已经足够
    --eval_human false \  # 不进行人工评估
    --custom_val_dataset_path /mnt/10101/staryea/aigc/modelscope_tuning/data/qwen_intent_val_data_v3.jsonl \
    --skip_training true \  # 假设脚本支持此参数,用于跳过任何训练步骤,直接进入验证阶段

请注意,我添加了--skip_training true这一假设性参数,旨在表明您希望跳过训练直接进行验证。然而,这取决于您使用的具体脚本或框架是否支持这样的参数。如果该脚本没有直接提供跳过训练的选项,您可能需要查看脚本源代码,找到执行验证的逻辑部分,并手动修改以确保它不会尝试加载或执行训练过程。

另外,确保检查llm_infer.py脚本中是否有处理这些参数的具体逻辑,因为不是所有参数都能在所有脚本中通用。如果脚本本身不支持某些特定配置,您可能需要根据其内部逻辑进行适当调整。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

还有其他疑问?
咨询AI助理