modelscope-funasr怎么拿验证集评估微调后的模型效果呢

简介: 【2月更文挑战第19天】modelscope-funasr怎么拿验证集评估微调后的模型效果呢

modelscope-funasr怎么拿验证集评估微调后的模型效果呢?我想固定一批测试数据专门用来测试微调后的效果,有demo吗?modelscope文档上有,看着像是文本专用的。

您可以使用验证集来评估微调后的模型效果。具体来说,您可以将一部分数据作为验证集,用于在微调过程中进行模型选择和调参。

以下是一个示例代码,演示如何使用验证集评估微调后的模型效果:

from modelscope.pipelines import FunasrPipeline
from modelscope.utils.metrics import SpeechMetric

# 创建FunasrPipeline对象
pipeline = FunasrPipeline(
    audio_column="audio",
    text_column="text",
    checkpoint="path/to/your/checkpoint",
    tokenizer="path/to/your/tokenizer",
    vocab_size=1000,
    num_beams=4,
    max_len_a=200,
    max_len_b=150,
    device="cuda:0" if torch.cuda.is_available() else "cpu",
)

# 加载验证集数据
validation_data = load_validation_data()  # 自定义函数,加载您的验证集数据

# 对验证集进行预测并计算指标
results = pipeline(validation_data)
metric = SpeechMetric(ref=validation_data["text"], pred=results["result"])
score = metric.calculate()  # 计算指标得分,例如WER、BLEU等
print("Validation score:", score)

上述代码中,您需要将checkpoint参数设置为微调后的模型路径,tokenizer参数设置为相应的分词器路径。然后,通过调用pipeline对象的predict方法,传入验证集数据进行预测。最后,使用自定义的SpeechMetric类来计算指标得分,如Word Error Rate(WER)、Bilingual Evaluation Understudy (BLEU)等。

请注意,以上代码仅为示例,您需要根据您的实际情况进行适当的修改和调整。

目录
相关文章
|
6天前
|
自然语言处理
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
19 1
|
6天前
|
API 语音技术
ModelScope-FunASR**有支持热词又支持时间戳的模型**。
【2月更文挑战第30天】ModelScope-FunASR**有支持热词又支持时间戳的模型**。
37 2
|
6天前
|
人工智能 达摩院 自然语言处理
超好用的开源模型平台,ModelScope阿里达摩院
超好用的开源模型平台,ModelScope阿里达摩院
112 1
|
6天前
|
机器学习/深度学习 测试技术 TensorFlow
ModelScope模型使用与EAS部署调用
本文以魔搭数据的模型为例,演示在DSW实例中如何快速调用模型,然后通过Python SDK将模型部署到阿里云PAI EAS服务,并演示使用EAS SDK实现对服务的快速调用,重点针对官方关于EAS模型上线后示例代码无法正常调通部分进行了补充。
|
6天前
|
语音技术 开发工具 git
要进行ModelScope-Funasr实时ASR的微调,您可以按照以下步骤操作:
要进行ModelScope-Funasr实时ASR的微调,您可以按照以下步骤操作:
85 5
|
6天前
|
人工智能 API 决策智能
Modelscope结合α-UMi:基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
|
6天前
|
文字识别 并行计算 语音技术
ModelScope问题之下载模型文件报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
288 3
|
6天前
|
数据采集 自然语言处理 搜索推荐
ModelScope问题之模型encoder配置报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
95 0
|
6天前
|
人工智能 自然语言处理 搜索推荐
魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
【2月更文挑战第9天】魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
231 3
|
6天前
|
API
使用ModelScope平台进行模型验证时
【2月更文挑战第9天】使用ModelScope平台进行模型验证时
68 4