AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

modelscope-funasr还有两万多条数据是怎么被过滤掉的？

在做微调语音识别模型的时候，max_token_length设置为3000，打印出的log里面显示：total_num of samplers: 157112, ../../../data/list/train.jsonl，这个总的样本数是这么计算的：157112=每轮的总step GPU个数 batch，现在有一个问题是我的总样本数是178460，而且每条音频不超过30秒，我也已经把max_token_length设置为6000了，max_source_length和max_target_length也设置为3000了，结果微调的时候总样本数还是157112条，modelscope-funasr还有两万多条数据是怎么被过滤掉的？

展开
收起
三分钟热度的鱼 2024-05-29 19:30:38 125 分享 版权
1 条回答
写回答
取消 提交回答
相关问答
modelscope-funasr实时流模式，对音频pcm的数据要求是什么呢？
294
0
0
modelscope-funasr这个模型的训练语音数据以及命令词列表有开源吗？
116
0
0
在modelscope-funasr中java的底层怎么接受数据的,我想自己编写wss客户端?
112
0
0
ModelScope中，微调参数里面有可能会导致模型回复中断的参数或者是数据里面没有长文本的数据？
110
1
0
为什么 从ModelScope上拉数据集到本地数据集内容有的有数据，有的是类似下面这样的？
82
0
0
ModelScope上创建的数据集，数据都能浏览，到底是哪儿出的错？
90
0
0
modelscope开源的菲律宾数据写的是522个小时但是下载下来为什么只有几条？
76
0
0
上传数据到modelscope失败，是什么原因导致的？"
96
1
0
请问modelscope开源的菲律宾数据写的是522个小时但是下载下来为什么只有几条？
75
0
0
modelscope-funasr使用bytes类型数据传入，识别效果很差怎么解决？
179
1
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • 【超级棒的算法改进】融合鱼鹰和柯西变异的麻雀优化算法研究（Matlab代码实现）
  • AI Compass前沿速览：Nano Bananary、MCP Registry、通义DeepResearch 、VoxCPM、InternVLA·M1具身机器人
  • 《Skinned Mesh Renderer与LOD系统蒙皮变形异常全解析》
  • 阿里云百炼大模型收费说明：模型推理、模型训练和模型部署费用整理
  • Github 2024-09-30 开源项目周报 Top15

    • 热门讨论

    热门文章

  • modelscope-funasr这是服务端关闭了连接吗？
  • 本地运行示例报错No module named 'deepspeed'
  • modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？
  • modelscope-funasr有说话人分离功能吗？
  • modelscope-funasr有没有开源的语音唤醒，自定义唤醒？
  • modelscope-funasr 热词如何设置？
  • modelscope-funasr的 hotwords 是什么意思？
  • modelscope-funasr基于paraformer微调了粤语试了下，效果不太理想。怎么调整？
  • modelscope-funasr的SenseVoiceLarge模型在哪里啊？
  • modelscope-funasr在安卓平台可以集成sense voice吗？
    • 展开全部
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • 自然语言生成代码一键搞定！Codex CLI：OpenAI开源终端AI编程助手，代码重构+测试全自动
  • Memobase：开源AI长期记忆系统，让AI真正记住每个用户的秘密武器
  • 告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
  • KAG：增强 LLM 的专业能力！蚂蚁集团推出专业领域知识增强框架，支持逻辑推理和多跳问答
  • RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
    • 展开全部
    还有其他疑问?
    咨询AI助理