随着大型语言模型（LLM）的迅速发展，多模态大型模型（MLLM）在视觉理解和推理任务中的应用也受到了广泛关注。然而，尽管MLLM在自然图像处理方面取得了显著进展，但在复杂和精细的图像类型（如图表、文档和图解）的理解上仍存在挑战。
近期，由浙江大学领衔的一支研究团队，针对MLLM在视觉推理能力上的不足，提出了一种利用GPT-4合成数据构建多模态基准的方法。该研究旨在通过合成数据的补充，提高MLLM在抽象图像理解和视觉推理任务上的性能。
MLLM在处理自然图像时通常表现出色，但当面临抽象图像（如图表、地图或布局）和视觉推理任务时，其性能往往不尽如人意。例如，MLLM在完成简单的日常任务，如从时钟图像中读取时间、理解流程图或使用道路地图规划路线时，经常会遇到困难。
为了解决这一问题，研究团队设计了一种多模态自指导策略，利用大型语言模型及其编码能力来合成大量抽象图像和视觉推理指令，涵盖了各种日常场景。
该策略通过简单的线条和几何元素构建了一个包含11,193条指令的多模态基准，涉及8种视觉场景：图表、表格、模拟地图、仪表板、流程图、关系图、平面图和视觉谜题。
通过该基准，研究团队对几种代表性的MLLM进行了评估，并发现了它们在抽象图像理解和视觉推理方面的显著不足。例如，在仪表板场景中，表现最好的MLLM（GPT-4o）仅取得了54.7的得分，远低于人类水平的85.3。
此外，研究团队还通过微调一个MLLM（使用62,476条合成的图表、表格和道路地图指令）来验证合成数据的质量。实验结果表明，合成数据可以显著提高模型在图表理解和地图导航任务上的性能，并可能对其他视觉推理任务产生积极影响。
这项研究的主要贡献在于：
- 识别了MLLM在抽象图像理解和视觉推理方面的显著差距：研究团队通过构建多模态基准，揭示了MLLM在处理抽象图像和执行视觉推理任务时的性能瓶颈。
- 设计了一种多模态自指导策略：利用大型语言模型和代码生成能力，研究团队合成了大量抽象图像和视觉推理指令，为MLLM的训练提供了有价值的数据。
- 构建了一个包含11,193条高质量指令的基准：该基准涵盖了8种常见的视觉场景，并揭示了即使在先进的MLLM中也存在显著的不足。
然而，该研究也存在一些局限性：
- 对闭源模型的依赖：多模态自指导策略的实施依赖于闭源模型（如GPT-4）的代码生成和推理能力，这可能限制了其在开源社区的广泛应用。
- 数据合成的成本：使用闭源模型进行数据合成可能需要较高的计算成本，这可能限制了该方法在资源有限的研究环境中的可行性。
- 图像分辨率的限制：研究团队指出，视觉编码器的图像分辨率可能是当前MLLM在抽象图像理解方面的一个瓶颈，未来的研究可以探索提高图像分辨率的方法。
