八问八答搞懂Transformer内部运作原理

Transformer模型在大型语言模型中的应用几乎是普遍的，但对其内部运作的理解却并不深入。最近，一篇名为"Transformer Layers as Painters"的论文通过一系列的实验和观察，试图更好地理解Transformer模型中不同层级的信息处理方式。本文将通过八个问题和答案，帮助读者理解这篇论文的主要内容和发现。

问题1：Transformer的层级是否使用相同的表示空间？

论文通过实验发现，Transformer模型的中间层级（即除去最开始和最后几层的中间部分）在表示空间上具有相当的一致性。这意味着，这些层级在处理信息时，可能使用了一种共同的表示语言。

问题2：所有层级是否都是必要的？

实验结果显示，Transformer模型对于中间层级的去除或重新排序具有相当的鲁棒性。这意味着，至少在中间层级中，有些层级可能并不是绝对必要的。

问题3：中间层级是否都在执行相同的功能？

论文通过实验发现，如果将中间层级的权重替换为同一中心层级的权重，模型的性能会急剧下降。这表明，尽管中间层级在表示空间上具有一致性，但它们所执行的功能可能是不同的。

问题4：层级的顺序是否重要？

实验结果显示，如果将中间层级以不同的顺序执行，模型的性能会有所下降，但这种下降是渐进的，而不是灾难性的。这表明，层级的顺序对于模型的性能是有一定影响的，但并不是决定性的。

问题5：是否可以并行执行层级？

论文通过实验发现，如果将中间层级并行执行，然后合并结果，模型的性能会有所下降，但这种下降也是渐进的。这表明，并行执行层级是可能的，但可能会对模型的性能产生一定的影响。

问题6：对于不同的任务，层级的顺序是否重要？

实验结果显示，对于数学和推理等需要逐步推理的任务，层级的顺序对于模型的性能影响较大。而对于语义理解等任务，层级的顺序对于模型的性能影响较小。

问题7：循环是否有助于并行化层级？

论文通过实验发现，如果将并行执行的层级进行循环，模型的性能会有所提升。这表明，循环可以帮助并行化层级更好地发挥作用。

问题8：哪些变体对性能的损害最小？

论文通过比较不同的变体，发现随机化层级顺序和循环并行化层级对性能的损害最小。而重复使用同一中心层级的权重对性能的损害最大。

论文地址：https://arxiv.org/pdf/2407.09298v1