近年来，随着人工智能领域的不断发展，图推理问题逐渐成为了研究的热点之一。在图推理中，模型需要理解和推理图形结构中的信息，以解决各种问题，如判断图中是否存在环、计算最短路径等。为了促进图推理研究的发展，香港科技大学等机构发布了一个名为GITQA的多模态图推理问答数据集，该数据集的发布为相关研究提供了重要的资源和平台。
GITQA数据集是一个包含超过423K个问答实例的多模态图推理问答数据集。每个实例都包含图结构、文本和视觉信息以及对应的问答对。通过构建这个数据集，研究人员旨在探究视觉图在图推理中的作用，并且为模型提供了不同模态的信息，以便进行更准确和全面的推理。
实验结果表明，视觉图在图推理中起着重要的作用。相比于仅使用文本信息的模型，同时使用视觉和文本信息的模型在图推理任务上表现更好。这表明，视觉信息能够为模型提供额外的推理依据，从而提升了模型的性能和泛化能力。
研究人员发现，视觉和文本在处理不同类型的图推理任务时各具优势。在某些任务中，如Cycle和BGM任务，视觉模态的表现优于文本模态；而在其他任务中，则相反。这表明，在设计图推理模型时，需要综合考虑不同任务的特点，合理利用视觉和文本信息。
通过微调后的多模态模型，其性能可以超越单模态模型。实验结果显示，经过双模态微调的模型在图推理任务上表现更好，这进一步验证了同时使用视觉和文本信息可以增强模型的图推理能力。
实验结果还表明，在不同的难度级别下，视觉和文本模态的性能会有所变化。在某些任务中，只使用视觉模态的模型表现优于文本模态，并且与使用两种模态的模型相当；而在其他任务中，随着难度的增加，只使用视觉模态的模型性能显著下降。这表明，在设计图推理模型时，需要考虑任务的难度级别，合理选择模态信息。
研究人员还探究了不同的数据增强策略对模型性能的影响。实验结果显示，基于布局的数据增强策略对图推理提供了更有效的视觉视角，能够显著提升模型的推理能力。这为进一步改进图推理模型提供了重要的启示。
GITQA数据集的发布为图推理研究提供了重要的资源和平台，为研究人员深入探究图推理问题提供了新的契机。未来，我们可以基于这个数据集开展更深入和广泛的研究，进一步提升图推理模型的性能和泛化能力，推动人工智能技术的发展和应用。
