"PYTHONPATH=../../.. \
CUDA_VISIBLE_DEVICES=0 \
python /mnt/10101/staryea/aigc/modelscope_tuning/swift-main/examples/pytorch/llm/llm_infer.py \
--ckpt_dir ""output/v3/qwen1half-1_8b-chat/v0-20240401-070137/checkpoint-200"" \
--load_dataset_config true \
--max_length -1 \
--use_flash_attn false \
--max_new_tokens 2048 \
--temperature 0.1 \
--top_p 0.7 \
--do_sample false \
--val_dataset_sample -1 \
--eval_human false \
--custom_val_dataset_path /mnt/10101/staryea/aigc/modelscope_tuning/data/qwen_intent_val_data_v3.jsonl \
modelscope中,只想验证custom_val_dataset_path里面的数据,咋改?"
在您提供的命令行指令中,您想要使用自定义验证数据集custom_val_dataset_path
来验证模型,而不进行其他额外的训练或采样操作。根据您的需求,可以对命令进行如下调整以专注于验证指定数据集:
PYTHONPATH=../../.. \
CUDA_VISIBLE_DEVICES=0 \
python /mnt/10101/staryea/aigc/modelscope_tuning/swift-main/examples/pytorch/llm/llm_infer.py \
--ckpt_dir "output/v3/qwen1half-1_8b-chat/v0-20240401-070137/checkpoint-200" \
--load_dataset_config true \
--max_length -1 \
--use_flash_attn false \
--max_new_tokens 2048 \ # 这个参数控制生成的最大新token数,根据需要可调整或移除
--temperature 0.1 \ # 温度参数影响生成样本的多样性,设为0则完全按照概率分布选择
--top_p 0.7 \ # 控制采样时累积概率的阈值,与temperature一起影响生成结果
--do_sample false \ # 置为false表示不进行采样,直接使用贪婪解码或 beam search(取决于代码实现)
--val_dataset_sample -1 \ # 使用全部验证集样本,如果只想用自定义的则这个设置已经足够
--eval_human false \ # 不进行人工评估
--custom_val_dataset_path /mnt/10101/staryea/aigc/modelscope_tuning/data/qwen_intent_val_data_v3.jsonl \
--skip_training true \ # 假设脚本支持此参数,用于跳过任何训练步骤,直接进入验证阶段
请注意,我添加了--skip_training true
这一假设性参数,旨在表明您希望跳过训练直接进行验证。然而,这取决于您使用的具体脚本或框架是否支持这样的参数。如果该脚本没有直接提供跳过训练的选项,您可能需要查看脚本源代码,找到执行验证的逻辑部分,并手动修改以确保它不会尝试加载或执行训练过程。
另外,确保检查llm_infer.py
脚本中是否有处理这些参数的具体逻辑,因为不是所有参数都能在所有脚本中通用。如果脚本本身不支持某些特定配置,您可能需要根据其内部逻辑进行适当调整。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352