近年来，图神经网络（GNNs）和图Transformers在计算机视觉领域取得了显著的进展，为图像识别、目标检测和场景理解等任务提供了强大的工具。最近，一篇发表在TPAMI 2024上的综述文章，全面回顾了GNNs和图Transformers在计算机视觉中的应用，并从任务导向的角度进行了深入分析。
该综述首先介绍了GNNs和图Transformers的基本原理和特点。GNNs通过在图结构上进行消息传递和聚合，能够有效地捕捉数据中的非欧式结构和关系。而图Transformers则将Transformer模型与图结构相结合，进一步提高了模型的表达能力和泛化能力。
在计算机视觉中，GNNs和图Transformers被广泛应用于各种任务，包括图像分类、目标检测、语义分割和实例分割等。该综述根据输入数据的模态，将这些应用分为五类：2D自然图像、视频、3D数据、视觉与语言的结合以及医学图像。
对于2D自然图像，GNNs和图Transformers被用于图像分类和目标检测等任务。通过将图像表示为图结构，并利用GNNs或图Transformers进行特征提取和分类，可以显著提高模型的性能。例如，在图像分类任务中，使用图Transformers可以更好地捕捉图像中的长距离依赖关系，从而提高分类的准确性。
在视频处理中，GNNs和图Transformers被用于动作识别和视频分类等任务。通过将视频序列表示为图结构，并利用GNNs或图Transformers进行时空特征的提取和分类，可以有效地捕捉视频中的动态信息和时序关系。
对于3D数据，如点云和三维模型，GNNs和图Transformers被用于三维重建、目标检测和语义理解等任务。通过将三维数据表示为图结构，并利用GNNs或图Transformers进行特征提取和分类，可以更好地捕捉三维数据中的几何信息和空间关系。
在视觉与语言的结合中，GNNs和图Transformers被用于图像描述生成、视觉问答和图像-文本匹配等任务。通过将图像和文本表示为图结构，并利用GNNs或图Transformers进行特征对齐和融合，可以实现图像和文本之间的语义理解和交互。
最后，在医学图像中，GNNs和图Transformers被用于医学图像分割、病变检测和辅助诊断等任务。通过将医学图像表示为图结构，并利用GNNs或图Transformers进行特征提取和分类，可以提高医学图像分析的准确性和可靠性。
然而，尽管GNNs和图Transformers在计算机视觉中取得了显著的进展，但仍存在一些挑战和局限性。首先，图结构的构建和优化是一个复杂的问题，需要根据具体任务和数据特点进行精心设计。其次，GNNs和图Transformers的计算复杂度较高，对于大规模数据和复杂场景的处理仍存在挑战。此外，如何将GNNs和图Transformers与其他计算机视觉方法进行有效结合，以进一步提高模型的性能和鲁棒性，也是一个值得探索的方向。
