modelscope-funasr还有两万多条数据是怎么被过滤掉的？
在做微调语音识别模型的时候，max_token_length设置为3000，打印出的log里面显示：total_num of samplers: 157112, ../../../data/list/train.jsonl，这个总的样本数是这么计算的：157112=每轮的总step GPU个数 batch，现在有一个问题是我的总样本数是178460，而且每条音频不超过30秒，我也已经把max_token_length设置为6000了，max_source_length和max_target_length也设置为3000了，结果微调的时候总样本数还是157112条，modelscope-funasr还有两万多条数据是怎么被过滤掉的？
展开
收起
1
条回答
写回答
写回答
-
过滤逻辑在这里：https://github.com/alibaba-damo-academy/FunASR/blob/main/funasr/datasets/audio_datasets/index_ds.py#L97
注意这里，是音频+文本 此回答整理自钉群“modelscope-funasr社区交流”2024-05-29 21:35:21赞同 展开评论 打赏
相关问答
热门讨论
热门文章
modelscope-funasr大规模asr训练的话，还是用audio_datasets吗？
77
modelscope-funasr“实时语音识别”是可以流式输入语音然后进行识别吗？
58
modelscope-funasr怎么使用 gpu 加速啊？
59
官方示例报错，用funasr就正常，请问什么原因呢？
55
在modelscope-funasr我按官方的示例代码运行的，报这个错，是什么原因呀？
55
modelscope-funasr的ASR 示例代码里报这个错误，如何解决？
55
如何提高qwen-7b-chat-int4的并行处理能力
1165
modelscope-funasr的funclip的cam++可以转成onnx吗？
52
modelscope-funasr runtime的代码是没有后处理部分吗？
44
modelscope-funasr剪片子提示这个是什么原因？
46
展开全部
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
435
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
427
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
446
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
416
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
264
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
277
ModelScope X 昇腾910快速上手
275
使用ModelScope社区搭建OCR应用
1257
中文竞技场（MS）大模型评测
97043
高通量基因测序在药物研发和靶向治疗中的应用（一）
769
展开全部
