在人工智能领域，目标检测和实例分割是计算机视觉中的重要任务。然而，传统的感知模型在面对开放世界场景时仍存在挑战。为了解决这个问题，研究人员引入了开放集感知任务，旨在检测或分割训练集中未出现过的物体。然而，这些模型在推理过程中需要预先定义的物体类别作为输入，这在现实世界场景中并不总是可行的。
为了应对这一挑战，研究人员提出了一个更实际的问题，即开放式目标检测，旨在在没有任何物体类别输入的情况下发现未知物体。在NeurIPS 2024会议上，一篇名为《Training-Free Open-Ended Object Detection and Segmentation via Attention as Prompts》的论文提出了一种名为VL-SAM的训练无关框架，该框架结合了通用物体识别模型（即视觉语言模型）和通用物体定位模型（即Segment-Anything模型），以解决开放式目标检测和实例分割任务。
VL-SAM的核心思想是利用注意力图作为提示，将这两个通用模型连接起来，而无需进行额外的训练。具体而言，该论文设计了一个注意力图生成模块，通过头部聚合和正则化注意力流，在VLM的所有头部和层中聚合和传播注意力图，从而生成高质量的注意力图。然后，通过一个提示生成模块，从注意力图中迭代地采样正负点，并将这些采样点发送给SAM以分割相应的物体。
在实验中，该论文在长尾实例分割数据集（LVIS）上进行了评估，结果表明VL-SAM在目标检测任务上的性能超过了之前的开放式方法，并且能够提供额外的实例分割掩码。此外，VL-SAM在角落情况目标检测数据集（CODA）上也取得了良好的性能，这表明VL-SAM在现实世界应用中的有效性。此外，VL-SAM还展示了良好的模型泛化能力，可以与各种VLM和SAM集成。
从正面来看，VL-SAM的提出为解决开放式目标检测和实例分割任务提供了一种创新的解决方案。通过利用注意力图作为提示，该框架能够将通用物体识别模型和通用物体定位模型的优势结合起来，从而实现更准确和鲁棒的目标检测和实例分割。此外，VL-SAM的训练无关特性也使其在实际应用中更具可行性，因为它不需要大量的标注数据和计算资源。
然而，从反面来看，VL-SAM也存在一些潜在的局限性。首先，注意力图的质量对最终的检测和分割结果至关重要，而注意力图的生成过程可能受到各种因素的影响，如模型的训练数据和超参数设置。其次，VL-SAM的提示生成模块需要迭代地采样正负点，这可能会增加计算的复杂性和时间成本。最后，虽然VL-SAM在实验中取得了良好的性能，但其在更复杂和多样化的现实世界场景中的表现仍需要进一步验证。
