ICLR2021对比学习（Contrastive Learning）NLP领域论文进展梳理（二）

Towards Robust and Efficient Contrastive Textual Representation Learning

任务：语言模型预训练

本文分析了目前将对比学习用于文本表示学习存在的问题（2.2节），包括：

对比学习中，如果采用KL散度作为训练目标，训练过程会不稳定；

对比学习要求一个较大的负样本集合，效率低。

对于第一个问题，作者添加了一个Wasserstein约束，来增强其训练时的稳定性；对于第二个问题，作者提出了只采样最近的K个负样本，称为Active Negative-sample selection（和NIPS那篇：Hard Negatives Mixing比较类似）。

Self-supervised Contrastive Zero to Few-shot Learning from Small, Long-tailed Text data

任务：文本匹配；多标签文本分类

本文主要尝试解决多标签文本分类问题，特别是其存在的长尾标签问题（即当数据较少时，类别分布往往不均匀，会存在大量很多只出现了一两次的标签，同时少量类别频繁出现）。

本文主要将多标签分类任务建模成类似文本匹配的形式。将采样不同的正负标签，同时也会从句子中采样文本片段，构成伪标签。这四种形式的标签（正标签、负标签、正伪标签、负伪标签）编码后，和句子编码拼接，经过一个匹配层，通过二分类交叉熵损失（BCE），或NCE损失（将正例区别于负例）训练匹配模型。

Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval

任务：稠密文本检索

本文研究文本检索领域，不同于传统的利用词级别进行检索（稀疏检索），本文通过训练文本表示进行文本检索（称为Dence Retrieval，DR）。DR包含两个阶段：

预训练一个模型，将文本编码成一个向量，训练目标是使得similar pairs具有最大的相似度分数；

通过训练好的编码模型，将文本编码、索引，根据query的相似度执行检索。

本文主要关注于第一阶段，即如何训练一个好的表示。本文从一个假设出发：负样本采样方法是限制DR性能的瓶颈。本文的贡献：

提出了一种更好的负采样方法，用于采样优质的dissimilar pairs；

本文提出的效果能让训练更快收敛；

本文提出的方法相比基于BERT的方法提升了100倍效率，同时达到了相似的准确率。

本文所提出的负采样方法是一种不断迭代的形式，将ANN索引的结果用于负样本采样，随后进一步训练模型；模型训练完之后，用于更新文档表示以及索引。