豆包大模型团队发布全新Detail Image Caption评估基准，提升VLM Caption评测可靠性

豆包大模型团队最近发布了一项名为Detail Image Caption的全新评估基准，旨在提高视觉语言模型（VLM）图像标题生成任务的评测可靠性。这一研究对于推动计算机视觉和自然语言处理的交叉领域具有重要意义。

在计算机视觉和自然语言处理的交叉领域，图像标题生成（Image Captioning）一直被视为一项基本任务。它要求模型根据图像内容生成一段描述性的文字，以帮助人们更好地理解图像。然而，随着大型视觉语言模型（LVLM）的发展，研究人员发现，传统的短标题评测基准和评估指标已经无法准确衡量模型的图像标题生成能力。

为了填补这一研究空白，豆包大模型团队提出了Detail Image Caption评估基准。该基准通过收集高质量的评估数据集，并使用人类专家、GPT-4V和Gemini-1.5-Pro等工具进行标注，以确保数据的准确性和可靠性。同时，他们还设计了一种名为CAPTURE（CAPtion evaluation by exTracting and coUpling coRE information）的新型标题评估指标，以更准确地衡量模型生成的标题质量。

CAPTURE指标通过从标题中提取视觉元素，如物体、属性和关系，然后通过三个阶段的匹配过程来评估标题的准确性。与传统的基于规则或基于模型的标题评估指标相比，CAPTURE指标在与专家判断的一致性方面取得了最高的分数。这使得Detail Image Caption评估基准成为衡量LVLM图像标题生成能力的一个可靠工具。

然而，任何研究都可能存在一些争议和限制。首先，虽然Detail Image Caption评估基准在数据质量和评估指标方面取得了显著的改进，但仍然可能存在一些主观因素的影响。例如，不同的人类专家可能会对同一图像有不同的理解和描述，这可能会影响评估结果的客观性。

其次，虽然豆包大模型团队提出了一种基于数据合成的策略来提高模型的图像标题生成能力，但这种策略的可行性和效果仍然需要更多的实验和验证。此外，数据合成的过程可能会引入一些噪声或偏差，从而影响模型的泛化能力。

最后，虽然Detail Image Caption评估基准提供了一种更准确的评估方法，但仍然需要更多的研究来探索如何进一步提高模型的图像标题生成能力。例如，如何更好地将视觉信息和语言信息进行融合，如何生成更丰富、更多样化的标题等。

论文：https://arxiv.org/abs/2405.19092