开发者社区 > ModelScope模型即服务 > 多模态 > 正文

请帮我看看以下模型评估的文档说明

CK[J19~0P$}V3X1Q]FW0HNR.png
我在微调代码的cfg_modify_fn函数中添加了
cfg.evaluation.metrics = 'text-gen-metric'
然后在代码末尾调用trainer.evaluate(),为什么会报错?
{$F9`R}(X6%0]}DD2B)U8BF.png

如果我需要输出这些指标,还需要进行什么修改?
附模型及微调代码链接:https://modelscope.cn/models/damo/mplug_image-captioning_coco_base_zh/summary

展开
收起
游客d7av6cbryzbho 2023-11-01 16:04:46 93 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    首先,请检查cfg.evaluation.metrics = 'text-gen-metric'这一行是否正确。text-gen-metric是一种常用的文本生成评价指标,但需要确保您的任务类型与其相匹配。
    其次,请确保您在运行trainer.evaluate()前已经准备好了验证集数据,即data/val2014/COCO_val2014_00000001.jpg所在目录下的所有图片文件。如果缺失了任何一张图片,都会引发此错误。
    最后,请检查您的训练脚本是否正确地设置了验证集的数据加载器。如果您尚未设置,可以参考以下代码示例:

    cfg.data.val_dataloader = dict(
        samples_per_gpu=8,
        workers_per_gpu=4,
        val_interval=500,
        data=dict(samples_per_gpu=8))
    
    2023-11-02 14:23:31
    赞同 展开评论 打赏
  • 从你提供的错误信息来看,似乎是在评估模型时出现了问题。错误信息是"No such file or directory: 'data/val2014/COCO_val2014_00000001.jpg'"。这意味着模型在试图读取一个不存在的文件。

    这可能是因为你的数据目录结构不正确,或者你的文件路径不正确。你需要确保你的数据目录结构与模型的训练数据目录结构相同,并且你的文件路径是正确的。

    至于如何输出这些指标,你需要在你的代码中添加相应的逻辑。通常,模型会返回一个字典,其中包含各种指标的值。你可以遍历这个字典,打印出每个指标的值。

    2023-11-02 10:50:16
    赞同 展开评论 打赏

包含图像描述、文本生成图片、版面分析、多模态表征、视觉问答、文档理解等多个领域

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载