·阅读摘要：
本文于2017年6月发布，属于Transformer模型的开山之作，地位不言而喻。Transformer是继于MLP、RNN、CNN模型的又一大模型，且解决了RNN应用于长输入乏力的情况，随后提出的BERT、GPT都是基于Transformer。本文主要基于机器翻译任务来讲述Transformer，近年的论文证明其在图像、文本、音频、视频都可广泛应用。
·参考文献：
[1] Attention Is All You Need
论文链接：https://arxiv.org/abs/1706.03762
在文本分类领域中，主要使用Transformer模型的Encoder模型。Decoder属于生成模型，我们不用，但是也要认真拜读。
[0] 阅读本论文需要前置知识：
编码器-解码器(encoder-decoder) ⭐对于理解这篇文章非常重要
注意力机制(Attention) ⭐深入理解，会为神经网络任务提供一个思路
多层感知机(MLP)
残差连接(residual connection) ⭐为神经网络任务提供一个优化方法
LN与BN ⭐不同的正则化策略
位置编码(positional encoding) ⭐为文本编码提供新思路
由于本篇文章为论文阅读笔记，前置知识的介绍写在另外一篇博客：神经网络】MLP 编码器-解码器 注意力机制 残差连接。
[1] 摘要
比较好的序列转换模型都是基于CNN或RNN，然后使用注意力机制连接编码器和解码器。此论文提出了一种只使用注意力机制的简单模型，取名叫做Transformer，实验表明此模型的实验效果与泛化能力都很好。
【注一】：序列转换叫做Sequence-to-Sequence，机器翻译就是典型的S2S任务。
[2] 引言
1、RNN是前一个状态的输出放到下一个状态的输入中，序列性妨碍训练中的 并行 ，尤其是当序列越长的时候。
2、之后注意力机制开始被使用，在不考虑输入或输出序列距离的情况下对相关性进行建模，但都是结合RNN来做的。
3、Transformer，避免递归，完全依赖注意力机制来绘制输入和输出之间的相关性，支持并行训练。
【注二】：叙述逻辑环环相扣。主要说Transformer的并行能力。
[3] 相关工作
使用CNN想要关联起来较远位置的输入需要“卷”很多步，需要线性复杂度或者对数复杂度，Transformer可以在O ( 1 ) O(1)O(1)内关联两个任意位置的输入之间的相关性。
代价是降低了分辨率，Transformer使用了多头注意力（Multi-Head Attention）抵消了这一影响。
【注三】分辨率可理解为CNN的卷积核，Transformer类比到卷积层上就是卷积核的宽度为序列长度，这样丢失了精度，Transformer使用Multi-Head Attention（类比到CNN的多通道）弥补。
[4] 模型结构
论文提出的Transformer模型组合使用了：编码器-解码器结构、注意力机制（点积注意力机制、多头注意力机制、自注意力机制）、前馈神经网络、嵌入层、softmax、位置编码。
[4.1] 编码器
上图中，左边由N个层堆叠起来构成编码器。每个层有2个子层。
第一个子层是多头自注意力（Multi-Head Attention）层。随后使用了残差连接（residual connection）和层正则化（Layer Normalization）。
第二个子层是MLP层。随后使用了残差连接（residual connection）和层正则化（Layer Normalization）。
【注四】Layer Normalization与Batch Normalization不一样，下图源自李沐大神的视频。对于embedding层的三维输出（batch、seq、feature），Layer Normalization是黄色笔画的横着切，这样会把一个句子作为一个单位进行均值为0、方差为1的操作；比Batch Normalization蓝色笔画的效果要好。
[4.2] 解码器
解码器比编码器多了一个mask multi-head attention层。这是因为解码器需要有自回归性，解码器的输出是一个一个输出的，每次的输出要作为输入再进入解码器。这一层就是为了实现这一功能，让第t个时刻的输出只看前t-1个时刻的输入。
【注五】这里不理解。输出既然是一个一个产生，那么在t时刻输出再作为输入，直接拿过来用就好了，即使想用t+1时刻后的数据，应当还未生成啊？
[4.3] 注意力层【按比例点积注意力、自注意力、多头注意力】
按比例点积注意力(Scaled Dot-Product Attention)
这是Transformer模型中，实现注意力机制的基础模型，模型图如下：
自注意力(self-Attention)
非常好理解，就是自己算和自己的相关性，表现为Q,K,V都等于文本的embedding向量。
多头注意力(Multi-Head Attention)
把输入映射成h个低维的向量，然后经过按比例点积注意力(Scaled Dot-Product
Attention) 层后，再聚合成高维的向量。其中“映射”的操作，靠Linear神经网络完成，这样就拥有了可学习的参数。模型如下：
多头注意力可以类比到卷积神经网络的多通道。
[4.4] Feed Foward层
与RNN模型作对比，如下：
在RNN中，MLP是用来抽取句子的特征的，RNN需要前面时刻的输出，作为现在时刻的输入，具有序列性。
在Transformer中，MLP是对每个词（token / word）进行分别提取。因为词向量经过多头注意力层之后，每个词的向量已经对全局信息进行了抓取。
[4.5] 位置编码（positional encoding）层
到目前为止，模型对文本的序列性还没有提取。文章提出了一种简单的方法：
其中，pos为单词的Index，也就是seq_len中的索引，i为embedding_dim词向量的索引，d是embedding_dim值。
算出对应的位置编码后，我们直接加上原来的embedding层向量即可
文中提到使用了学习过的位置嵌入，发现与使用正弦余弦函数效果几乎相同。
