self-attention的简介
一个self-attention模块接收n个输入，然后返回n个输出。这个模块中发生了什么呢？用外行人的话说，self-attention机制允许输入与输入之间彼此交互(“self”)，并找出它们应该更多关注的对象(“attention”)。输出是这些交互和注意力得分的总和。
1、self-attention的影响
BERT, RoBERTa, ALBERT, SpanBERT, DistilBERT, SesameBERT, SemBERT, MobileBERT, TinyBERT, CamemBERT……共同之处是BERT，但是最底层则是self-attention。
“BERT”的架构，更准确地说是基于Transformer的架构。基于Transformer的架构主要用于建模语言理解任务，避免了神经网络中的递归，而是完全依赖于self-attention机制来绘制输入和输出之间的全局依赖关系。
2、self-attention模块思路的8个步骤及其代码实现
DL之self-attention：self-attention模块思路的8个步骤及其代码实现
https://yunyaniu.blog.csdn.net/article/details/103496234
1、准备输入
2、初始化权重
每个输入必须有三个表示(见下图)。这些表示称为键(key，橙色)、查询(query，红色)和值(value，紫色)。在本例中，我们假设这些表示的维数是3。因为每个输入的维数都是4，这意味着每组权重必须是4×3。
注：在神经网络设置中，这些权重通常是很小的数字，使用适当的随机分布(例如高斯、Xavier和Kaiming分布)进行随机初始化。
3、推导key, query 和 value
注：在实践中，偏差向量(bias vector )可以添加到矩阵乘法的乘积。
4、计算输入1的注意力得分
为了获得注意力得分，我们首先在输入1的查询(红色)和所有键(橙色)之间取一个点积。因为有3个键表示(因为有3个输入)，我们得到3个注意力得分(蓝色)。
从查询1中计算注意力得分(蓝色)
5、计算softmax
在所有注意力得分中使用softmax(蓝色)。
6、将分数与值相乘
每个输入的softmaxed attention 分数(蓝色)乘以相应的值(紫色)。结果得到3个对齐向量(黄色)。在本教程中，我们将它们称为加权值。
由值(紫色)和分数(蓝色)的相乘推导出加权值表示(黄色)
7、将权重值相加，得到输出1
将所有加权值(黄色)按元素指向求和，结果向量[2.0,7.0,1.5](深绿色)是输出1，该输出基于输入1与所有其他键(包括它自己)进行交互的查询表示。
8、对输入2和输入3重复步骤4-7
已经完成了输出1，我们对输出2和输出3重复步骤4到7。
self-attention的应用领域
更新……
