开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

modelscope-funasr这个符合预期吗?

大家有测试过吗,用默认参数测试一下新版的paraformer-large-online模型,词错率相比之前发布的paraformer-large-online模型要高一些,感觉新版本实时模型好像变差了一点,modelscope-funasr这个符合预期吗?
测试了speechio-asr-datasetszh00010和zh00005,两个都比旧版差一些,新版主要是插入和删除错误多了,插入错误主要就是重复上一个字

展开
收起
三分钟热度的鱼 2024-03-27 16:53:49 50 0
2 条回答
写回答
取消 提交回答
  • 您提到在使用新版的paraformer-large-online模型时,发现词错率相比之前发布的版本要高,特别是在speechio-asr-datasetszh00010zh00005两个数据集上的表现。您还观察到新版模型主要的问题是插入和删除错误增多,尤其是插入错误通常是重复上一个字。

    习和语音识别领域,模型性能的波动是正常现象,这可能是由于多种因素造成的:

    1. 数据分布的变化:如果训练数据和测试数据的分布不一致,可能会导致模型在新数据上的表现下降。
    2. 模型更新的内容:新版模型可能引入了新的参数或者修模型结构,这些变化可能会影响模型的性能。
    3. 评估数据集的特性:不同的数据集可能有不同的难度和特点,模型在某些特定类型的数据集上可能会表现出不同程度的敏感性。
    4. 随机性:深度学习模型的训练过程中存在随机性,即使是相同的模型结构,不同的训练轮次也能得到不同的结果。

    对于您的疑问,是否modelscope-funasr符合预期,这取决于具体的应用场景和性能要求。通常,模型升级的目的是提高性能,但用中可能会出现一些波动。如果您发现性能下降,可以考虑以下几个步骤:

    1. 反馈问题:向ModelScope团队报告您观察到的问题,提供详细的测试结果和数据。
    2. 等待修复:如果是模型本身的问题,可能需要等待开发者进行修复或优化。
    3. 调整参数:尝试调整模型的超参数,比如增加正则化,或者调整学习率等,以期改善性能。
    4. 使用旧版模型:如果新模型的不符合要求可以选择继续使用旧版模型,直到新模型得到改进。

    综上所述,如果您认为新版paraformer-large-online模型的性能不符合预期,建议向ModelScope团队反馈详细情况,并根据您的应用场景决定是否继续使用该模型。同时,也可以关注ModelScope团队是否会发布新的更新来解决这个问题。

    2024-04-01 07:42:34
    赞同 展开评论 打赏
  • ModelScope-Funasr 是一个开源的自动语音识别(ASR)工具,旨在提供高质量的中文语音识别服务。关于您提到的新版 Paraformer-Large-Online 模型的词错率(Word Error Rate, WER)问题,这可能由几个因素导致:

    1. 模型更新:如果模型结构或训练数据集有所更新,可能会影响模型的性能。新的模型可能在某些方面表现得更好,而在其他方面则可能下降。

    2. 数据适配性:新模型可能在特定的数据集上表现不佳,这可能是因为它在训练时没有接触到足够多样的数据,或者数据分布与测试集不匹配。

    3. 优化目标:模型的优化可能更侧重于其他指标而非词错率,例如速度或延迟,这可能会以牺牲准确性为代价。

    4. 测试环境:测试条件的变化,如背景噪声、说话人的发音差异等,都可能影响识别准确率。

    5. 版本差异:新旧版本之间的性能差异可能是由于模型的不稳定性或者某些细节的调整导致的。

    对于您提到的“插入和删除错误多了,插入错误主要就是重复上一个字”的问题,这可能是模型在处理特定语音特征时的过拟合现象,或者是对某些音节的识别不够准确导致的。

    至于 ModelScope-Funasr 是否符合预期,这取决于具体的应用场景和性能要求。如果您发现性能不符合预期,可以考虑以下步骤:

    • 反馈问题:向 ModelScope-Funasr 的开发者社区报告您发现的问题,提供详细的测试数据和结果。
    • 自定义训练:如果有能力,您可以尝试使用自己的数据集对模型进行微调,以改善特定场景下的性能。
    • 等待更新:关注 ModelScope-Funasr 的更新,开发者可能会在未来的版本中解决这些问题。
    • 替代方案:考虑使用其他 ASR 工具或服务,特别是如果您有特定的性能需求。

    最后,由于 ModelScope-Funasr 是一个开放的社区资源,其性能和稳定性可能会随着时间和贡献者的努力而变化。因此,保持关注并定期评估其性能是很重要的。

    2024-03-31 09:48:26
    赞同 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载