一、Embeddings from Language Model(ELMO)

1. 词嵌入的局限性

之前讲过的词嵌入具有一定的局限性。举例来说，现有以下句子：

Have you paid that money to the bank yet ?

It is safest to deposit your money in the bank.

The victim was found lying dead on the river bank.

They stood on the river bank to fish.

bank一词在上述前两个句子与后两个句子中的token是不一样的，但是type是一样的。也就是说同样的词有存在不用语义的情况，而词嵌入会为同一个词只唯一确定一个embedding。

可以尝试的解决方案是为bank这个词设置2个不同的embedding，但是确定一个词有几个词义是困难的，可以参看以下句子：

The hospital has its own blood bank.

下个句子中的bank又有了不同的词义，这个词义可以看做一个新的词义也可以看做与“银行”词义相同，因此机械地确定一个词有几个词义是困难的，因为很多词的意义是微妙的。

因此，传统的词嵌入技术无法实现语境词嵌入（Contextualized Word Embedding ）。

2. ELMO模型介绍

我们希望能够实现语境词嵌入，一个思路就是输出一个词的embedding要考虑词的上下文，如下图，词“bank”的不同语义通常会出现在不同的上下文中，利用这个特点设计网络就可以实现Contextualized Word Embedding：

                                   Contextualized Word Embedding

ELMO就是基于考虑词的上下文的这种精神而设计出的可以实现语境词嵌入的网络结构。

以“潮水退了就知道谁没穿裤子”这句话为例，ELMO的RNN结构会输入一个词然后输出下一个词，然后抽出这个RNN结构的隐藏层的内容就是输入词汇的embedding，该过程如下所示：

                                                ELMO

因为使用的是RNN结构，所以输出一个词的embedding会根据上下文的不同而不同。

但是上述过程只考虑了词的前文，并没有考虑词的后文，因此ELMO还有另一个RNN结构，该RNN结构输入后一个词来输出前一个词，然后将上面的RNN结构输出的embedding与这个RNN结构的embedding拼接到一起，就获得了同时考虑上下文的词的embedding：

                                                     ELMO

该过程也是可以“deep”的，如下图的网络结构，每一个隐藏层都会输出一个词的embedding，对于每一个embedding是全部都会被使用的：

                                                   ELMO

如下图所示，ELMO为每个词输出两个embedding，这两个embedding会根据一定的权重加起来：

                                              embedding的合并

每个embedding拥有各自的权重 ，这两个权重不是人为设置的，通常ELMO后面会根据不同的任务接不同的网络结构，而这两个权重是跟随不同的任务一起训练出来的：

                                          weighted sum

下面展示了不同的任务训练出来的ELMO不同层的embedding的权重的大小，不同层从下往上分别指的是没有contextualized的embedding，经过第一个LSTM抽出的embedding和经过第二个LSTM抽出的embedding。可以看到不同任务对不同层的embedding的权重有所不同，例如SQuAD任务就比较需要经过第一个LSTM抽出的embedding而其他两个embedding的权重就比较小：

                                                  不同任务的权重

二、Bidirectional Encoder Representations from Transformers (BERT)

1. 概述

BERT其实就是Transformer的Encoder，可以从大量没有注释的文本中学习。Transformer的Encoder架构如下图所示

                                           BERT

BERT会输入一些词的序列然后输出每个词的一个embedding。需要注意，下图中虽然是以中文的词作为输入，但实际操作中如果训练中文则应该以中文的字作为输入，这是因为中文的词的数量比较少（常用汉字约4000个左右），而词的数量非常多，使用词作为输入就会导致每个词向量的维度非常高：

                                        BERT的输入和输出

2. BERT的训练

BERT有两种训练方式：Masked LM和Next Sentence Prediction。

• Masked LM

Masked LM这种训练方式指的是在词序列中每个词汇有15%的几率被一个特殊的token[MASK]遮盖掉，然后将被遮盖掉的词对应输出的embedding使用一个线性多分类器来预测被遮盖掉的词是哪一个，由于线性多分类器的能力很弱，所以训练得到的embedding会是一个非常好的表示：

                                              Masked LM

• Next Sentence Prediction

Next Sentence Prediction这种训练方式有两个新的token[SEP]和[CLS]，[SEP]代表两个句子的边界，[CLS]在序列的开头，代表两个句子是否应该接在一起。[CLS]对应输出的embedding会被输入到一个线性二分类器里然后输出这两个句子是否应该接到一起，这就是Next Sentence Prediction训练的方式。由于BERT内部主要使用Self-Attention机制，因此[CLS]的位置一般是没有影响的。

                                       Next Sentence Prediction

要注意在实际训练时通常使用两种方式一起训练。

3. BERT的使用方法

• Case1

输入：一个句子

输出：类别

例子：情感分析，文本分类

可以将句子输入到BERT，第一个token设置为[CLS]表示句子的分类，将这个toke对应输出的embedding输入到一个线性分类器中进行分类。线性分类器要从头开始训练，BERT的参数只需要微调即可。

                                                           Case1

• Case2

输入：一个句子

输出：词的类别

例子：槽位填充

可以将句子输入到BERT，将每个token对应输出的embedding输入到一个线性分类器中进行分类。线性分类器要从头开始训练，BERT的参数只需要微调即可。

                                                      Case2

• Case3

输入：两个句子

输出：类别

例子：自然语言推理

可以将两个句子输入到BERT，两个句子之间添加一个token[SEP]，这两个句子分别是假设和推断，另外第一个token设置为[CLS]表示句子的分类，将第一个token对应输出的embedding输入到一个线性分类器中进行分类，分类结果代表在该假设下该推断是否正确。线性分类器要从头开始训练，BERT的参数只需要微调即可。

                                                            Case3

• Case4

BERT还可以用来做Extraction-based Question Answering，也就是阅读理解，如下图所示，给出一篇文章然后提问一个问题，BERT就会给出答案，前提是答案在文中出现：

                              Extraction-based Question Answering

BERT的输入是文章D和问题Q，然后BERT给出两个整数s和e，表示答案在文中的起始位置，进而得到答案A：

                    Extraction-based Question Answering

整数s和e表示了答案的起始位置，因此需要答案在文中出现，BERT才能作答：

                                              s和e

训练的方式是首先将问题和文章输入BERT，中间添加一个token[SEP]来分隔，另外需要训练两个向量，每个向量分别与文章对应输出的embedding做内积，然后将得到的内积通过softmax层，然后取出最大的值的位置作为s和e，该过程如下所示：

                                                     s

                                                        e

4. Enhanced Representation through Knowledge Integration (ERNIE)

ERNIE是类似BERT的模型，是专门为中文设计的，如果使用BERT的第一种训练方式时，一次只会盖掉一个字，对于BERT来说是非常好猜到的，因此ERNIE会一次盖掉中文的一个词：

                                                        ERNIE

5. BERT学到了什么

BERT的浅层会学习语言中一些简单的东西比如语法，而深层会比学习比较复杂的东西比如语义，这一点可以通过实验来佐证。如果我们将BERT每一层抽出的embedding都抽出来然后像ELMO一样做weighted sum，然后让每个不同的任务自己去学每一层的权重，最终我们可以得到下图结果，其中蓝色的矩形代表权重的大小：

                                     BERT学到了什么

可以看到简单的任务会使用较浅层的embedding多一点，而复杂的任务会使用较深层的embedding多一点。

6. 多语种BERT

BERT可以训练104种语言的文本资料，然后BERT就会自己学会这些语言之间的对应关系，比如在做文档分类的时候，只通过训练让BERT学会英文文档的分类，BERT就会自动学会中文文档的分类，这说明训练了104种语言以后BERT已经学会了不同语言之间的联系。

                                                  多语种BERT

三、Generative Pre-Training (GPT)

1. 概述

GPT是一种巨大的模型，比如GPT-2就有1542M个参数，对比ELMO和BERT，GPT-2这个模型就显得十分巨大：

                                                  GPT-2

GPT的架构其实就是Transformer的Decoder：

                                                   GPT的架构

2. GPT的训练方式

它的训练方式大体是先使用之前的词预测下一个词，然后用预测到的下一个词再去预测下一个词，该过程如下图所示：

 

                                              GPT的训练

                                              GPT的训练

3. GPT的使用
4. 
   

GPT是一种语言预测的模型，可以不训练（Zero-shot Learning）直接就可以进行阅读理解、文档摘要和机器翻译。只需要输入一定的范式，然后GPT就会自动地补全内容：

                                                 GPT的使用

GPT-2在QA问答上表现出了可观的效果，因为其没有经过特定的训练，因此可以看出去GPT-2是有很强的能力的：

                                                        QA结果

对GPT进行一些可视化会发现一些有趣的现象，我们也可以根据GPT的可视化表现出来的这些现象来对模型进行一些有用的调整：

                                                  可视化

通过上图我们可以看到很多词汇都会attend到第一个词汇，而第一个词汇一般没有什么特殊性，这说明当网络不知道attend到哪一个词汇上时就会attend到第一个词汇。根据这一现象我们就可以将第一个词汇设置成一个特殊的token来让模型不知道attend到哪一个词汇上时就会attend到这一个token。