模型包含预训练和微调两个步骤：在预训练阶段，对不同训练任务的未标记数据进行训练。在微调阶段，首先用预训练参数初始化BERT模型，然后，使用来自下游任务的标记数据对预训练的参数进行微调。

BERT是一个多层的双向Transformer，输入包括三个部分，分别为词向量、单词所属句子向量和单词的位置向量，形象的表示如下图所示，其中[CLS]和[SEP]是放在每个输入最前和用户分隔句子的特殊符号。

文章提出两种无监督任务来预训练BERT，分别是屏蔽语言模型（Masked Language Model, MLM）和下句预测模型（Next Sentence Prediction, NSP）：MLM通过屏蔽一句话中部分词然后让模型来预测屏蔽词来训练模型。在实验设置中，大约15%的词被随机屏蔽。但是这样的训练方法也有缺陷，屏蔽词相当于从数据集中抹去，且可能预训练阶段与微调阶段不一致。因此，对于屏蔽词有如下三种处理方式：80%用[MASK]替换，10%用随机的词语替换，另外10%不做改变。NSP任务是为了增强模型对句子间关系的理解能力，训练时选择的句对A、B中，B有50%的概率真的是A的下一句，50%的概率不是A的下一句。预训练语料使用BooksCorpus和英语维基百科的文本段落。

模型微调测试了11个自然语言处理任务上的效果，包括General Language Understanding Evaluation(GLUE)基准测试集中的8项评测、SQuAD 1.1和SQuAD 2.0两个阅读理解数据集和Situations With Adversarial Generations (SWAG)数据集。BERT均稳定优于基线方法，下表展示了GLUE上的对比结果。

文章提出的BERT模型在11项自然语言处理任务上取得了最先进的效果。由语言模型转移学习带来的模型效果改进表明，丰富的、无监督的预训练是许多语言理解系统的组成部分。特别地，即使是资源匮乏的任务也可以从深层的单向架构中获益。文章主要贡献是进一步将这些发现推广到深层的双向架构，允许相同的预训练模型成功地应用于广泛的NLP任务。

Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics

https://link.springer.com/chapter/10.1007/978-981-32-9748-7_3

首先，将观察到的目标句编码为潜在的源句（图中蓝色箭头的过程）。然后，使用源到源的翻译模型，对源句进行译码（图中黄色箭头的过程），利用源到目标的模型重构所观察到的目标句。

用文章的方法和最先进的SMT和NMT方法进行比较，实验结果图如下：

文章提出了一种训练神经机器翻译模型的半监督方法。其核心思想是在单语语料库上引入自动编码器，采用源对目标和目标对源的翻译模型作为编码器和译码器。在汉英NIST数据集上的实验表明，与最先进的SMT和NMT方法进行，该方法带来了显著的改善。

Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. 2018

https://arxiv.org/abs/1806.03822

文章评估了三种现有的模型架构在两个数据集上的表现，让这些模型不仅去学习答案的分布，而且也去预测一个问题是不可回答问题的概率。当模型预测某个问题无法回答的概率超过某个阈值时，模型就放弃学习答案分布。下表展示了三个模型在两个数据集（SQuAD 1.1和SQuAD 2.0）上的表现，结果显示：

表现最好的模型（DocQA + ELMo）在SQuAD 2.0上与人类仍有23.2的差距，意味着模型有很大的改进空间；

在两个数据集上运用相同模型架构，相比于SQuAD1.1，最优模型和人的F1值差距在SQuAD 2.0上更大，说明对现有模型来说SQuAD 2.0是一个更难学习的数据。

文章在SQuAD 1.1数据集上利用TFIDF和规则随机生成了一些难以回答的问题，仍采用相同的模型进行对比。结果显示（如下表）最好的模型还是在SQuAD 2.0数据集上表现最低，再次证明了SQuAD 2.0对现有的语言理解模型来说是一个有难度的挑战。

文章证明了SQuAD 2.0是一个具有挑战性的、多样化的、大规模的数据集，它迫使模型去学习什么情况下一个问题在给定的环境中是无法回答的。我们有理由相信，SQuAD 2.0将会促进新的阅读理解模型的发展，这些模型能够知道他们不知道的东西是什么，从而能在更深层次上理解语言文字。

Proceedings of the International Conference on Learning Representations (ICLR). 2019

https://arxiv.org/abs/1804.07461

文章设计了一个通用语言理解评估基准（General Language Understanding Evaluation, GLUE)，它包含一组NLU任务，包括问答系统、情感分析和文本蕴涵，以及一个用于模型评估、比较和分析的在线平台。GLUE倾向于让模型在任务之间共享一般的语言知识。GLUE还提供了一个人工设计的测试集（诊断集），可以对模型进行详细的分析。

为了评测这个GLUE评估基准，文章在公共数据集上评估了句子表示的baseline和最优模型，下表展示了数据集的任务表述和相关的统计信息。数据集的任务表述和统计信息如上表所示。

结果显示如下表所示，针对所有任务的多任务训练比针对每个任务单独训练模型的效果更好。然而，最佳模型的低性能表明模型仍存在改进空间。

首先，文章实现了一个通用语言理解评估基准（GLUE基准），包含9个句子或句对的NLU任务。所有任务建立在带标注的数据集上，数据集覆盖了各种文本类型、不同数据规模和不同难度系数。其次，建立了一个主要基于私有评测数据的在线模型评估平台。该平台与模型无关，并且可以评估任何能够在所有9个任务上产生结果的模型。然后，文章还构建了专门的诊断评价数据集，以用作误差分析、模型的定性比较以及对抗性数据的补充。最后，文章实验了句子表示学习的几种主要现有方法的结果。

Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing

文章设计了一个高效的利用语言信息有效执行端到端语义角色标注任务的神经网络模型。该模型融合了神经网络的注意力机制预测句法依赖关系，并在4个相关任务上进行了多任务学习。下图（左）是模型结构：词向量输入到具有多头注意力机制的J层，在p层训练自注意力机制去关注父节点的语义信息。P层的详细操作见下图（右）。

具体地，模型的基础是一个多头自注意力机制的token编码，基于ELMo预训练得到的token表示结合一个由正弦函数确定的位置编码向量学习H个注意头，拼接后组成每个token的最终自注意力表示。句法信息的自注意力机制将注意力中的key、value和query均增加语义解析信息，其中key、value分别对应父节点和依赖关系。最后，共享模型中较低层的参数来预测POS词性标记和谓词。

文章把LISA模型和四个先进的基线方法比较，下表的结果显示，未加入语义信息的模型已经实现了现有的最优模型性能（如红框所示），当LISA加入自己的语义解析时模型性能并没有很大的提升（如绿框所示），但当再加入了目前最优的D&M语义解析以后，模型性能有了较大的提升。Gold表示加入了最优的语义解析，以期模型能有更好的表现。

文章提出了一种多任务神经网络模型，该模型有效地融合了丰富的语言信息用于语义角色标注。通过一系列实验证明了LISA的性能优于最先进的现有模型。具体实验结果：在CoNLL-2005SRL数据集上，LISA模型在谓词预测、词嵌入任务上比当前最好的算法在F1值上高出了2.5（新闻专线数据）和3.5以上（其他领域数据），减少了约10%的错误。在ConLL-2012英文角色标记任务上，该方法也获得了2.5F1值的提升。LISA同时也比当前最好的基于上下文的词表示学习方法（ELMo）高出了1.0的F1（新闻专线数据）和多于2.0的F1值（其他领域数据）。

Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019

https://arxiv.org/abs/1902.08646

质量评估(Quality Estimation，QE)提供了机器翻译和人工翻译之间缺失的一环，目标是在没有参考译文的情况下评估翻译系统的质量。句子级的质量评估旨在预测整个翻译句子的质量，如基于人后期编辑所花费的时间，或者修改它需要的编辑操作数。单词级别质量评估的目标是给机器翻译的每个词、单词之间的间隙（根据上下文需要插入的）和源语言单词(原句中被错译或省略的单词)分配质量标签。下图是一个单词级标注示例。

文章研发的OpenKiwi（https://github. com/Unbabel/OpenKiwi）实现和集成了WMT 2015-18质量评估比赛的获奖系统，且允许轻松地添加和运行新模型，而不需要过多地关注输入数据处理、输出生成和评估。OpenKiwi基于PyTorch深度学习框架实现，可以单独运行或通过API集成到其他项目。此外，OpenKiwi提供了根据WMT2018数据的预训练模型，并支持根据新数据训练新QE模型。

文章对该框架进行了基准测试，使用了WMT 2018质量评估比赛的数据集，结果显示，这些系统的集成版本表现最好，堆叠的架构在预测单词级标签方面非常有效。文章还比较了另一个现有的开源工具deepQuest，在单词级和句子级均获得更优的表现。

Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.（2019）.

https://arxiv.org/abs/1906.02448

Nanjiang Jiang, Marie-Catherine de Marneffe

Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019.

https://www.aclweb.org/anthology/P19-1412/

当一个演讲者问“你知道佛罗伦萨挤满了游客吗”时，我们可能会相信，但如果她问的是“你认为佛罗伦萨挤满了游客吗”，我们可能就不会相信了。推断说话者承诺（或称事件真实性）对于信息抽取和问答均至关重要。对说话者承诺的预测，是判断说话者在句子中对某一事件承诺到何种程度，是实际的、非实际的还是不确定的。本篇文章通过在数据集上分析模型误差的语言相关性，来探讨语言缺陷会导致说话者承诺模型出现错误模式的假设。

评估数据集选取的CommitmentBank包含1200条数据，涉及四种包含时态嵌入动词的取消蕴涵环境(否定句、情态动词、疑问句、条件句)。对于每条数据，从Mechanical Turk寻找至少8个母语为英语的人标注其说话者承诺。

文章评估了两种最先进的说话者承诺模型：Stanovsky等人提出的基于规则的方法和Rudinger等人提出的神经网络方法，结果显示基于规则的模型表现得更好，但整体表现均不是很好，因为CommitmentBank与其他任何数据集相比，其相关性更低，绝对错误率更高。