modelscope-funasr微调之后,每个checkpoint 同 验证集的验证结果怎么看呢?

modelscope-funasr微调之后,每个checkpoint 同 验证集的验证结果 怎么看呢? 比如 跑了20个checkpoint 我想知道 哪个 在验证集里表现最好?

展开
收起
三分钟热度的鱼 2024-03-06 20:44:08 115 分享 版权
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    要查看ModelScope-Funasr微调后每个checkpoint在验证集上的验证结果,您可以按照以下步骤进行操作:

    1. 检查日志文件:通常,模型训练过程中会生成日志文件,记录每个epoch或checkpoint的训练损失和验证准确率等信息。您可以查找这些日志文件,并查看每个checkpoint在验证集上的性能表现。

    2. 使用评估脚本:如果您没有直接的日志文件,您可以使用ModelScope-Funasr提供的评估脚本来对每个checkpoint进行评估。这通常涉及加载模型权重,然后将其应用于验证集数据,最后计算评估指标(如词错误率WER)。

    3. 比较评估结果:一旦您获得了每个checkpoint的评估结果,您可以比较它们以确定哪个checkpoint在验证集上表现最好。通常,您会寻找具有最低词错误率(WER)或最高准确率的checkpoint。

    4. 可视化工具:有些深度学习框架提供了可视化工具,可以直观地展示模型的训练和验证性能曲线。如果ModelScope-Funasr提供了这样的工具,您可以使用它来帮助分析checkpoint的表现。

    综上所述,为了确定哪个checkpoint在验证集上表现最好,您需要收集和比较每个checkpoint的评估结果。这可以通过查看日志文件、运行评估脚本或使用可视化工具来完成。

    2024-03-08 19:42:54
    赞同 展开评论
  • 阿里云大降价~

    在ModelScope-FunASR中,微调后的每个checkpoint与验证集的验证结果可以通过评估指标来确定哪个表现最好。以下是查看和比较这些结果的步骤:

    1. 评估指标:您需要确定用于评估模型性能的指标,这些通常包括准确率、召回率、F1分数等。
    2. 测试脚本:运行一个测试脚本,该脚本会自动加载每个checkpoint,并在固定的验证集上进行评估。
    3. 结果记录:脚本会记录每个checkpoint在验证集上的表现,并将这些结果保存到一个文件中,或者直接输出到控制台。
    4. 结果对比:通过比较这些记录的结果,您可以找出在验证集上表现最好的checkpoint。
    5. 最佳模型选择:一旦确定了最佳表现的checkpoint,您可以将其选定为微调后的最终模型,用于后续的部署或进一步的研究。

    此外,如果ModelScope-FunASR的文档或官方demo中没有提供直接的方法来评估微调后的模型效果,您可能需要自己编写脚本来实现这一过程。这通常涉及到加载模型、读取验证集数据、运行预测和计算评估指标。

    2024-03-07 17:45:06
    赞同 展开评论

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理