一、提出的原因
- 类似CLIP多模态模型只做到文本图片后融合的对齐，没有图片细粒度的object级别的细粒度语义表征能力
- MDETR没有统一目标检测和已有的多模态任务grounding
CLIP由于训练集image-text pair比任何已有的anation数据集都包含更丰富的视觉概念，很容易0-shot迁移到下游任务，但是只做文本图片后融合的对齐，由于缺少object级别的细粒度理解，无法应用到到多模态检测任务。
对上面提出目标检测，分割等稠密任务需要text-image细粒度理解问题，现有的grounding任务就是细粒度的text和object的任务，因此这两个任务可以统一：目标检测是上下文无关的grounding任务，grounding是上下文相关语境化的目标检测任务
在本文中，我们表明短语接地（phrase grounding）是一种有效且可扩展的预训练任务，可以学习对象级、语言感知和语义丰富的视觉表示，并提出了接地语言-图像预训练(GLIP)。
【短语接地是一种识别句子中的短语和图像中的对象(或区域)之间的细粒度对应关系的任务】
二、论文的方法 & 贡献
这篇论文做的任务是phrase grounding，属于Visual grounding的一种。phrase grounding的任务是输入句子和图片，将句子中提到的物体都框出来。
定位任务与图像检测任务非常类似，都是去图中找目标物体的位置。GLIP 模型统一了目标检测（object detection）和定位（grounding）两个任务，构建了一个统一的训练框架，从而将两个任务的数据集都利用起来。再配合伪标签的技术来扩增数据，使得训练的数据量达到了前所未有的规模。
2.1 方法
我们的方法将短语接地和对象检测任务统一起来，对象检测可以被视为上下文无关的短语接地，而短语接地可以被视为上下文化的对象检测任务。
这一统一带来了两个好处：
- GLIP可以同时从探测和接地数据中学习，改进这两项任务，并建立良好的接地模型
2) GLIP可以利用大量的图像-文本对，以自我训练的方式生成接地框，使学习到的表示具有丰富的语义
如何统一两个任务呢？
detection 和 grouding 任务的目标函数都是由两部分损失组成，即分类损失和定位损失。定位损失不必多说，直接去计算与标注中的 GT 框的距离即可。而对于分类损失，则有所不同。
- 对于 detection 任务来说，分类的标签是一个类别单词，在计算分类损失时，每个区域框特征与分类头计算得到 logits，输出 logits 经过 nms 筛选之后，与 GT 计算交叉熵损失即可。
类似 ViLD 中的 (a) 常规目标检测器分类头
- 对于 grounding 任务来说，标签是一个句子，不是用分类头，而是通过文本编码器得到文本特征，计算文本特征与区域框特征的相似度，得到匹配分数。
类似 ViLD 中的 (b) ViLD-text
作者提出，只要判断一下两个任务中什么时候是 positive match，什么时候是 negative match，就能将两个任务统一起来了。
2.2 数据
既然统一了 detection 和 grounding 两个任务，最直接的一个利好就是两边的数据集都可以拿来训练这个统一的框架。
这些数据集都是有标注的，规模还不够大。想要进一步获得更大量的数据，必须像 CLIP 那样借助无标注的图像文本对数据。但是，目标检测任务的训练必须要 GT 框，单独的图文对数据没法直接用。作者这里使用了 self-training 中伪标签的方式，使用 O365 和 GoldG 上训练好的 GLIP-T 去在图文对数据 Cap4M/ Cap24M 上生成伪标签，直接当做 GT 框给 GLIP-T/L 进行训练。生成的伪标签肯定有错误，但是实验表明，经过扩充大量伪标签数据训练得到的 GLIP-L 模型仍然会有性能提高。
三、模型框架
【统一的检测和接地框架】
- 对于检测数据集：
训练时输入标签名(person、hairdryer）、框、图片；测试时输入图片，预测出框和标签名。
groudning模型的输入是短语、短语中名词的框和图片。
将object模型转为grounding的办法：通过prompt的方式将标签名转化为短语。
计算得到文本特征和图像特征的相似度之后，直接与 GT 计算对齐损失（alignment loss）即可，定位损失（Localization loss）也是直接与GT 框计算。
模型中间的融合层（fusion）是为了增加图像编码器和文本编码器之间的特征交互，使得最终的图像-文本联合特征空间训练得更好。
与经典的对象检测模型(为每个检测到的对象预测分类类)不同，我们通过将每个区域/框与文本提示中的短语对齐，将检测重新制定为接地任务。
GLIP联合训练一个图像编码器和一个语言编码器来预测区域和单词的正确配对。我们进一步增加了跨模态深度融合，以早期融合来自两种模态的信息，并学习一种语言感知的视觉表示。
具体到论文的方法：
对于模型的输入，GLIP开天辟地地对目标检测任务进行了重新定义，作者认为，目标检测实际上可以重新定义，可以是做把任何一张训练中的image，其上出现的所有样本的标签在分散之后拼接成一句话，从而把目标检测任务重新转换伪短语定位任务。
通过这种方式，所有的目标检测数据集都可转化为短语定位数据集。然后通过对文字和图片分别进行编码，并对这些word-region pair进行对比学习，从而获得了对齐后的文字与图片各自的特征。然后引入“深度融合”（deep fusion）的概念：区别于前期融合（early fusion）和后期融合（late fusion），深度融合对两个模态的特征向量计算交叉注意力（cross attention），从而让模型可以在较浅的模型阶段就开始进行跨模态的特征学习。
