funasr 微调没有效果?微调数据量是多少,如何调整batch_size

我发现batch_size小于1000会报错,rank0: args, kwargs = moved_inputs[0], moved_kwargs[0]

rank0: IndexError: tuple index out of range

以下是我的配置:deepspeed_config=/data/asr/fintune/FunASR/examples/deepspeed_conf/ds_stage1.json

mkdir -p ${output_dir}
echo "log_file: ${log_file}"
DISTRIBUTED_ARGS="
--nnodes ${WORLD_SIZE:-1} \
--nproc_per_node $gpu_num \
--node_rank ${RANK:-0} \
--master_addr ${MASTER_ADDR:-127.0.0.1} \
--master_port ${MASTER_PORT:-26673}
"

echo $DISTRIBUTED_ARGS

nohup torchrun $DISTRIBUTED_ARGS \
/data/asr/FunASR/funasr/bin/train_ds.py \
++model="${model_name_or_model_dir}" \
++train_data_set_list="${train_data}" \
++valid_data_set_list="${val_data}" \
++dataset="AudioDataset" \
++dataset_conf.index_ds="IndexDSJsonl" \
++dataset_conf.data_split_num=2 \
++dataset_conf.batch_sampler="BatchSampler" \
++dataset_conf.batch_size=200 \
++dataset_conf.sort_size=512 \
++dataset_conf.batch_type="token" \
++dataset_conf.num_workers=0 \
++train_conf.max_epoch=200 \
++train_conf.log_interval=5 \
++train_conf.resume=true \
++train_conf.validate_interval=5 \
++train_conf.save_checkpoint_interval=5 \
++train_conf.keep_nbest_models=5 \
++train_conf.avg_nbest_model=5 \
++train_conf.use_deepspeed=false \
++train_conf.deepspeed_config=${deepspeed_config} \
++optim_conf.lr=0.03 \
++output_dir="${output_dir}" &> ${log_file} &
微调数据音频长度有限制吗? 我训练下来好像没变化,效果依旧不佳,acc在震荡。而且推理计算下来的wer在26%上下。

1743485167709.png

展开
收起
游客u47je7pgqayge 2025-04-01 13:39:03 76 分享 版权
0 条回答
写回答
取消 提交回答

包括语音识别、语音合成、语音唤醒、声学设计及信号处理、声纹识别、音频事件检测等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理