计算过程
如果不感兴趣，可以跳过这一部分介绍，直接进入启发收获部分。
具体的计算过程，用翻译句子“我爱你”到“I love you”举例（这句更简单一些）。首先进行向量化并吸收句子位置信息，得到一个句子的初始向量组。
由于样本每个句子长短不同，所以每个句子都会是一个512*512的矩阵，如果长度不够就用0来代替。这样在训练时，无论多长的句子，都可以用一个同样规模的矩阵来表示。当然512是超参，可以在训练前调整大小。
接着，用每个字的初始向量分别乘以三个随机初始的矩阵WQ，Wk，Wv 分别得到三个量Qx，Kx，Vx。下图以“我”举例。
然后，计算每个单词的attention数值，比如“我”字的attention值就是用“我”字的Q我分别乘以句子中其他单词的K值，两个矩阵相乘的数学含义就是衡量两个矩阵的相似度。然后通过一个SoftMax转换（大家不用担心如何计算），计算出它跟每个单词的权重，这个权重比例所有加在一起要等于1。再用每个权重乘以相对应的V值。所有乘积相加得到这个Attention值。
这个attention数值就是除了“我”字自有信息和位置信息以外，成功的得到了这个句子中每个单词的相关度信息。
大家可以发现，在所有注意力系数的计算逻辑中其实只有每个字的初始矩阵WQ，Wk，Wv是未知数（这三个矩阵是所有文字共享的）。那么我们可以把这个Transformer简化成一个关于输入，输出和这个W矩阵的方程：其中X是输入文字信息，Y是翻译信息。
这里有必要再介绍一下机器学习的基础知识：Transformer算法本质上是一个前馈神经网络模型，它的计算基础逻辑，不去管复杂的隐藏层，就是假设Y=f(x)=wx，（目标还是要算出一个f()）然后随机设置一个w0，开始计算这个y=w0x的成本函数，然后再把w0变成w1，计算y=w1x的成本函数，以此类推计算出无数w（不是无数哈，也会收敛的），然后比较哪个w的成本函数最小，就是我们训练出来的f()。那么在Transformer里，这三个初始矩阵就是那个w0。
再回到Transformer，在计算Attention之后，每个单词根据语义关系被打入了新的高维空间这就是Self-attention（自注意力机制）。
但在Transformer里，并不是代入了一个空间，而是代入了多个高维空间，叫做多头注意力机制。
文章中没有给出更清晰的理论支持，为什么是多头。
主要原因是在训练时效果很好。这也是AI科研论文的一个特点，常常凭借非常高的科研素养和敏感性，发现一些方向，并且通过测试确实有效，但不一定可以给出很完美的理论支撑。这往往也给后续研究者一些可以进一步完善的空间。
事实证明，如何提升Attention（Q，K，V）效率是Transformer领域迭代最快的部分。之后的Bert算法提出预训练机制成为了主流，后面会做进一步介绍。
当然，事后我们可以理解是把这个句子中的逻辑关系放到不同的高维空间去训练，目的就是希望抓取更多的信息，这一部分可以更加深刻理解科研人员对空间的应用。
除了以上内容，还有一些技术点比如Mask机制、layer norm、神经网络激函数饱和区控制等，由于篇幅关系以及属于技术细节就不一一介绍了。
如果大家理解了多头自注意力机制，基本已经85%掌握了这篇论文的重要内容，也对还在快速扩展影响力的Transformer模型有了一个比较直观的认识。
基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
启发收获
从理论科研进步的角度看
Transformer打破了时序计算的逻辑，开始快速出圈，多个AI原本比较独立的领域开始在技术上融合。再往里看，Transformer能打破时序很重要一点是并行计算的算力模式给更复杂的计算带来了性价比上的可能性。算力的进一步提高，必将在AI各细分领域带来融合，更基础设施级别的模型，算法仍将不断推出。AI领域在图像，NLP；感知认知领域的专业分工也会慢慢变模糊。
AI科研确实具有一些实验性质。除了核心思想，确实还有很多技术点的解决方向已经明确，但还有很大的提升空间，可以预见围绕Transformer周边的微创新会持续加速繁荣。
《Attention is all your need》在业内大名鼎鼎，但你要是细看，会发现很多内容也是拿来主义，比如最重要的Attention（Q，K，V）中Query，Key，Value是互联网推荐系统的标配方法论；整个Transformer算法也是一个大的神经网络，算法是在前人基础上一步一步迭代发展，只是这个迭代速度明显在加快。
从理论、算法、架构、工程的角度看
AI算法科研领域正经历算法、开源代码、工程、算力的增长飞轮。
下图是顶级刊物上的学术论文中，开放源代码的论文比例，这个数据在这几年以更快的速度在增长。科研过程与工程过程产生越来越大的交集。开源社区和开源文化本身也在推动算法和工程的快速发展。
更多人参与，更多领域的人参与进来，进入门槛随着算力成本、AI基础架构和代码、知识分享的开源逐渐降低，科研与工程的边界也变得模糊，这个就像足球运动的规律，除了足球人口增多，天才球员梅西出现的概率也会增大。
从数据和后续方案发展的角度看
ChatGPT的成功同大量的数据训练功不可没，但除了简单对话互动或者翻译，大篇幅回答甚至论文级别的答案还是极其缺乏样本数据（算法训练需要的样本数据需要清晰度X和Y）。
而且Transformer的算法相比其他算法需要更大的数据量，原因在于它需要起始阶段随机产生三个矩阵，一步一步进行优化。除了Transformer以外，另一个技术Bert也是技术发展非常重要的现象级算法。其核心是一个简化的Transformer，Bert不去做从A翻译到B，它随机遮住X里面的一些单词或句子让算法优化对遮住部分的预测。这种思路使得Bert成为了Transformer预训练最好的搭档。
如果通过Bert进行预训练，相当于给矩阵加入了先验知识（之前训练逻辑没有给机器任何提示，规则后者基础知识），提高了正式训练时初始矩阵的准确度，极大地提升了之后Transformer的计算效率和对数据量的要求。
在现实中，举例来说，如果我想训练国家图书馆图书，之前需要每本书的信息和对这本书的解释，或者中文书对应的英文书。但现在我们可以大量只是训练内容，不需要打标签，之后只需要通过Transformer对样本数据进行微调。这就给ChatGPT很大的进步空间，而且可以预见，更多这类大模型会雨后春笋一般快速出现。
由于Transformer是更高级的神经网络深度学习算法，对数据量有很高要求，这也催生了从小数据如何快速产生大数据的算法，比如GAN对抗网络等。这是AIGC领域的核心技术。解决数据量不足问题，除了更高效率抽象小数据的信息，也多了把小数据补足成大数据的方法，而且这些方法在快速成熟。
我们发现在机器学习算法中有大量的超级参数，比如在Transformer里多头机制需要几头N，文字变成向量是512还是更多，学习速率等都需要在训练之前提前设置。由于训练时间长，参数复杂，要想遍历更优秀的计算效果需要非常长的摸索时间。
这就催生出AutoML，第四范式在这个领域研究多年，拿Transformer举例，就要很多个路线进行自动化机器学习；比如贝叶斯计算（找到更优参数配置概率）；强化学习思路（贪婪算法在环境不明朗情况下迅速逼近最优）；另外还有寻求全新训练网络的方法（Transformer，RNN，MLP等联合使用排列组合）等。
科研发展强调参数化，工业发展强调自动化，这两者看似统一，但在现实实操过程中往往是相当痛苦矛盾的。这也是开篇说的产品化和科研流动性相平衡的一个重要领域。
