前言

本文主要总结了Transformer模型的要点，包含模型架构各部分组成和原理、常见问题汇总、模型具体实现和相关拓展学习。

一、模型架构

0.背景知识

seq2seq模型：

由Encoder和Decoder共同组成，之间由Attention机制来建立关联性。

可以分为3类：

CNN

• 权重共享（平移不变性、可并行计算）

• 滑动窗口（局部关联性建模）

• 对相对位置敏感、对绝对位置不敏感

RNN（依次有序递归建模）

• 对顺序敏感（当前的输入依赖于上一层的输出）

• 串行计算耗时

• 长程建模能力弱

• 单步计算复杂度不变，计算复杂度与序列长度呈线性关系

• 对相对位置和绝对位置都敏感

TRM

• 无局部假设（可并行计算，对相对位置不敏感）

• 无有序假设

需要增加位置编码来反映位置变化对特征的影响；

对绝对位置不敏感。

• 任意两字符均可建模

擅长长短程建模；

自注意力机制需要序列长度的平方级别复杂度。

1.整体架构

6个Encoder的结构相同，但不是完全相同，只是结构相同、参数不同，在训练时不是训练一个Encoder、再复制到6份，而是6个Encoder都独立训练，这与预训练模型ALBERT共享Transformer中的某些层的参数达到减少BERT参数量的目的是有所区别的；

6个Decoder的结构也相同，参数不同，与Encoder类似。

输入和输出的说明如下：

可以看到，有3个输入，解码端的真实标签，与解码端的输出计算损失，同时解码端是不能并行的，只能顺序执行，因为这一层解码器（当前时刻）的输入取决于（依赖于）上一层（上一时刻）的输出，因此真实标签与解码端的输入是错了一位的；

同时，在实际应用中，为了加快训练时的收敛速度，此时会使用到Teacher Forcing，即将真实标签与解码端原来的输入一起输入，为了不影响训练（即在训练当前单词时不看到后面的单词），此时就需要将当前单词后面的单词全部mask住，以达到更好的预测效果。

实际计算中是将多个句子作为一个Batch来处理的，可以使用矩阵来加快计算，但是句子的长度可能不一致，此时超过最大长度的就被舍弃，不够最大长度的就用Padding填充字符来填充，在注意力层中将其置为-∞，避免其对其他词产生影响：

2.Embedding和位置编码

Encoder包含3部分：

• 输入部分
  
• 注意力机制
  
• 前馈神经网络
  

输入部分包含Embedding和位置嵌入（位置编码）。

Embedding：

输入部分包含Embedding和位置嵌入（位置编码）。

Embedding：

使用随机初始化和word2vec都可以，具体可以根据实际使用到的情况选择；

Embedding由稀琉的one-hot进入一个不带bias的FFN得到一个稠密的连续向量，用来表征单词。

从RNN到位置编码：

RNN的结构天然与时序关系很符合，可以实现先处理某些数据、再处理另外的数据的效果。

（1）RNN的参数共享

RNN的U输入参数、W隐层参数和输出V是一套参数，对于所有的time step都共享一套参数，例如对于NLP任务来说，所有的单词都共用了这一套参数。

（2）RNN的梯度消失

不是因为连乘效应造成了梯度衰减，这里的梯度是梯度的和，其梯度消失不是指梯度逐渐趋近于0，而是总梯度被近距离梯度主导、被远距离梯度忽略不计。

在TRM中：

实现了并行化，可以一起处理多个单词、而不是逐个地处理，这样可以加快处理速度，但是会忽略掉单词之间的相对位置信息，这时候就需要位置编码。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wKGspfzc-1654266200425)(image/image_h8VM501H7C.png)]

之所以选择sin/cos来表征位置编码，是因为：

每个位置都是固定的

对于不同的句子，相同位置的距离一致

泛化能力较强，可以推广到更长的句子

通过使用sin/cos，可以使得pe(pos+k)可以写成pe(pos)和pe(k)的线性组合。

将位置编码和嵌入相加（维度相同）：

绝对位置向量包含着相对位置信息：

同时，虽然在注意力机制中会消除相对位置信息，但是由于残差连接的存在，因此位置编码表征的位置信息可以向更高的层传递（流入深层），因此位置信息是一直存在的，不会消失。

这里之所以选择正弦和余弦函数，是因为正余弦函数可以拆解，从而将以后时刻的位置表示为前面位置的线性组合，因此可以增加泛化能力。

具体实现位置编码时，有2种方式：

（1）将得到的PE矩阵直接与Word Embedding相加

（2）将得到的PE来构造Embedding，并对词语序列进行Embedding编码，得到位置的Embedding，再与Word Embedding相加。