1. Background & Motivation
本文想要证明：任务的textual domain仍然有效。
现存工作大多仅在一个领域、用多样性比预训练模型更弱的语料微调一次，而连续预训练的优势是否与可获得有标签任务数据、目标域和原始预训练语料域的相似性等元素有关，扔待探究。
本文主要研究RoBERTa在非预训练语料域上的分类任务表现在连续预训练之下的影响。
2. DAPT
2.1 数据集和实验
baseline：直接在每个分类任务上finetune
2.2 分析域相似性
在海量的域测试集文本上一万个最常见的unigram（去掉停用词）
DAPT在不相似域上潜力更大。
3. TAPT
跨域DAPT+TAPT灾难性遗忘问题（说明了通用预训练模型的不足，DAPT和TAPT的必要性）：
三阶段预训练：
4. TAPT训练集数据增强
- 用human-curated corpus中抽取的大量无标签数据
- 在没有human-curated corpus的任务下，检索无标签领域语料中的TAPT相关数据
VAMPIRE：轻量BOW语言模型
5. 参考文献
同一任务训练集和测试集分布的domain shift
其他细节略。
6. 代码复现
我觉得这个代码我复现不了……太金钱游戏了……
