大家好，我是对白。
本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读，包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的业务中，最终起到了一个不错的效果。
Contrastive Learning with Adversarial Perturbations for Conditional Text Generation
任务：端到端文本生成
本文要解决的是文本生成任务中的暴露偏差（exposure bias）问题，即在文本生成自回归形式的生成任务中，解码器的输入总是ground truth的token，没有遇到过错误的生成结果。
本文通过引入对比学习损失，让模型从负样本中区分正样本，使得模型暴露于不同的噪声情况下，来解决这一问题。然而，完全随机生成噪声样本会导致模型非常容易区分，特别是对于预训练模型而言。因此，本文提出了一种对抗扰动方法，添加扰动使得正样本具有较高的似然度；是的负样本具有较低的似然度。
CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding
任务：自然语言理解、在fine-tune阶段增强文本表示
- 本文主要研究文本领域的数据增强方法，研究了如下问题：
- 可以将哪些增强方法应用于文本？
- 这些增强方式是互补的吗，是否可以找到一些策略来整合它们以产生更多不同的增强示例？
如何有效地将获得的增强样本融入训练过程？
作者考虑了五种针对于文本的数据增强方法：
- 回译（back-translation）
- c-BERT 词替换
- mixup
- cutoff
- 对抗训练
进一步，作者考虑了三种不同的数据增强的策略，以探究问题1和问题2，如上图所示：
随机选择：为mini-batch内的每一条样本，随机选择一种数据增强方法；
mixup：将mini-batch内的两条样本通过mixup的策略随机组合
将不同的增强方法堆叠：
在第三个问题——如何将其更好地融入finetune任务上，提出了对比损失。
实验发现，两种增强方式的堆叠能进一步增强性能。在GLUE上进行了实验，均分相比Baseline提升了2个点。
FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders
任务：预训练语言模型去偏
本文将对比学习用于消除预训练语言模型生成的文本表示中的偏见因素（例如性别偏见、种族偏见等）。为了做到这一点，本文训练一个额外的映射网络，将语言模型生成的文本表示转换成另一个表示，在新生成的表示上能达到消除偏见的效果。本文的创新点在于：
将原文本中的偏见词替换成其反义词（如man<->woman; her<->his; she<->he），这样可以构建一个增强的文本。通过对比损失，在转换后的表示中，最大化这两者的互信息；
为了进一步消除文本中隐含的偏见，额外提出了一个损失，去最小化生成的句子表示和偏见词表示的互信息。
