近年来，人工智能（AI）在图像处理领域取得了显著进展，其中一项重要突破是图像文本化技术。图像文本化是指将图像内容转化为自然语言描述，以帮助人们更好地理解图像。这项技术在多个应用领域发挥着重要作用，如图像理解、文本到图像的生成和文本图像检索。
然而，当前的图像描述数据集主要来自两个来源：一是从网络上抓取的图像文本对，这些描述通常质量较低且存在噪声；二是通过人工标注，如COCO数据集，但这些描述通常非常简短且缺乏细节。为了解决这些问题，香港科技大学、武汉大学、浙江大学和伊利诺伊大学厄巴纳-香槟分校的研究人员提出了一种名为图像文本化的创新框架（IT），该框架利用现有的多模态大语言模型（MLLMs）和多个视觉专家模型，以协作方式将视觉信息最大程度地转化为文本。
为了解决当前缺乏详细描述的基准问题，研究人员提出了几个全面评估的基准，以验证由该框架创建的图像描述的质量。此外，他们还展示了LLaVA-7B模型在经过IT处理的描述上进行训练后，能够生成更丰富的图像描述，显著增加了输出的长度和细节，并减少了幻觉。
图像文本化框架（IT）由三个阶段组成：
- 整体文本化阶段：利用MLLM生成参考描述，尽管它可能缺乏细节并包含幻觉，但它为视觉信息和语言表达提供了基本结构。
- 视觉细节文本化阶段：利用视觉专家模型的强大感知能力，从图像中提取细粒度的对象级信息，并将其转换为文本格式。
- 文本化重新描述阶段：利用LLM的高级理解和推理能力，基于前两个阶段的文本化信息生成准确且详细的描述。
通过这种方式，图像文本化框架能够创建更丰富细节且无幻觉的图像描述。为了全面评估该框架，研究人员构建了三个基准，即DID-Bench、D2I-Bench和LIN-Bench，用于从多个方面评估描述质量。然后，他们进行了一系列的实验来验证IT生成的描述的质量，并展示了在基准测试上的显著改进。
然而，图像文本化技术也存在一些挑战和限制。首先，尽管IT框架能够生成高质量的描述，但仍然存在一些幻觉和细节缺失的情况。其次，图像文本化技术对图像的理解和描述能力仍然受到限制，无法完全捕捉到图像的复杂性和细微差别。此外，图像文本化技术在处理大规模数据集时可能存在性能瓶颈。
