本文提出了一个全新的借口任务用于视频文本预训练，叫做多项选择题（MCQ）。通过训练辅助的BridgeFormer根据视频内容回答文本构成的选择题，来学习细粒度的视频和文本特征，并实现下游高效的检索。该研究已被 CVPR 2022 收录为 Oral。
用于文本视频检索的多模态预训练工作主要采用两类方法：“双流”法训练两个单独的编码器来约束视频级别和语句级别的特征，忽略了各自模态的局部特征和模态间的交互；“单流”法把视频和文本联结作为联合编码器的输入来进行模态间的融合，导致下游检索非常低效。
本文提出一个全新的带有参数化模块的借口任务（pretext task），叫做“多项选择题”（MCQ），通过训练 BridgeFormer 根据视频内容回答文本构成的选择题，来实现细粒度的视频和文本交互，并在下游时移除辅助的 BridgeFormer，以保证高效的检索效率。
1. 背景
用于视频文本检索的多模态模型，需要理解视频内容、文本语义、以及视频和文本之间的关系。现有的视频文本预训练工作可以分为两大类。
第一类 “双流” 法如下图（a）所示，训练两个单独的编码器来分别获取视频级别和语句级别的特征，利用对比学习（contrastive learning）来优化特征。这一方法可以实现高效的下游检索，因为在检索时只需要用点积来计算视频和文本特征的相似度。但这种方法因为仅仅约束两个模态的最终特征，忽略了每个模态自身的局部信息，以及视频和文本之间细粒度的关联。
第二类 “单流法” 如下图（b）所示，将视频和文本联结作为联合编码器的输入来进行模态间的融合，并训练一个分类器来判别视频和文本是否匹配。这一做法可以在局部的视频和文本特征之间建立关联，但是它在下游检索时非常低效，因为文本和每一个候选视频，都需要被联结送入模型来获取相似度。
本文的出发点是希望集上述两大类方法的优点，即学习细粒度的视频和文本特征的同时，实现下游高效的检索。
具体来说，如上图（c）所示，基于双编码器的结构，该研究进一步设计一个参数化模块 BridgeFormer 作为视频和文本局部特征的纽带。该研究提出一个新的借口任务来约束 BridgeFormer，由于 BridgeFormer 联结了视频和文本的每一层特征，对 BridgeFormer 的约束进而会优化视频和文本的特征。辅助的 BridgeFormer 只用于预训练，在下游检索时被移除，从而保证了高效的双编码器结构可用于检索。
2. 启发
给定一个视频和它对应的文本描述，该研究观察到文本里的名词和动词短语包含丰富的语义信息。
如下图所示，该视频的文本描述为：“一个穿着短裤，戴着帽子的女孩正在绿草地上跳舞”。这其中，名词短语 “短裤” 和“绿草地”对应着视频里的空间局部物体，动词短语 “跳舞” 则可以反映视频里女孩的时序移动。因此，该研究通过抹去文本里的名词和动词短语，来分别构造名词问题和动词问题，那么正确的答案自然是被抹去的短语自身。比如当抹去名词短语“绿草地”，就构成了名词问题“一个穿着短裤，戴着帽子的女孩正在哪里跳舞”，答案就是“绿草地”。同理当抹去动词短语“跳舞”，就构成了动词问题“一个穿着短裤，戴着帽子的女孩正在绿草地上做什么”，答案就是“跳舞”。
该研究提出一个带有参数化模块 BridgeFormer 的借口任务叫做多项选择题（MCQ），训练 BridgeFormer 通过求助视频特征，回答由文本特征构成的选择题，从而实现细粒度的视频和文本交互。在下游检索时移除 BridgeFormer，来保证高效的检索效率。
3. 方法
如下图所示，该研究的方法包含一个视频编码器 VideoFormer，用来从原始的视频帧提取视频特征；一个文本编码器 TextFormer，用来从自然语言提取文本特征。该研究通过抹去文本描述里的名词短语或动词短语，来分别构造名词问题和动词问题。以对比学习的形式，训练 BridgeFormer 通过求助 VideoFormer 提取到的局部视频特征，从多个选项里挑选出正确的答案。这里，多个选项由一个训练批次里所有被抹去的短语构成。
这一辅助的预训练目标会促使 VideoFormer 提取视频里准确的空间内容，使得 BridgeFormer 能够回答出名词问题，并捕获到视频里物体的时序移动，使得 BridgeFormer 能够回答出动词问题。这样的训练机制使得 VideoFormer 更能感知视频里的局部物体和时序动态。视频和文本局部特征的关联也通过问题和回答这样的形式得到了有效的建立。由于 BridgeFormer 联结了视频和文本的每一层特征，对 BridgeFormer 的约束就会进而优化视频和文本的特征。因此辅助的 BridgeFormer 只用于预训练，在下游检索时可以被移除，从而保留高效的双编码器结构。
4. 预训练流程
如下图所示，该研究预训练流程包含三个部分，来分别优化三个统一的对比学习（contrastive learning）形式的预训练目标：
1. 拉近视频和文本正样本对特征间的距离，并拉远负样本对特征间的距离（一个视频和它对应的文本描述被视为正样本对，否则就是负样本对）。2. 训练 BridgeFormer 回答名词问题，也就是拉近 BridgeFormer 输出的名词回答特征和 TextFormer 输出的正确答案的名词特征间的距离，并拉远名词回答特征和其他名词特征间的距离。3. 训练 BridgeFormer 回答动词问题，也就是拉近 BridgeFormer 输出的动词回答特征和 TextFormer 输出的正确答案的动词特征间的距离，并拉远动词回答特征和其他动词特征间的距离。
这里该研究使用对比学习来优化多项选择题形式的预训练目标，而不是采用传统的“masked word prediction”，也就是随机 mask 一句话里的一些单词，训练模型预测出被 mask 的单词。采用本文的这种做法有如下三个优势：
传统的 “masked word prediction” 约束模型预测出被 mask 的单词，会使得模型专注于解码 low-level 的单词本身，破坏了对模态间 high-level 的特征表达的学习。相比之下，该研究的 MCQ 以对比学习的形式拉近 BridgeFormer 输出的回答特征和 TextFormer 输出的答案特征间的距离，从而使模型专注于学习模态间 high-level 的语义信息。
该研究抹除文本里包含明确语义信息的动词和名词短语来构造有意义的问题，而传统的方法只是随机 mask 一些可能没有任何语义信息的单词。
由于问题的特征和答案的特征都是由 TextFormer 得到，这一做法可以视为对文本的 data augmentation，从而增强 TextFormer 对自然语言的语义理解能力。
消融实验也显示，相比于传统的“masked word prediction”，该研究的对比学习形式的借口任务 MCQ 在下游测评取得了更好的实验结果。
