昨天推导了一下交叉熵的反向传播梯度，今天再来推导一下层归一化（LayerNorm），这是一种常见的归一化方法。
前向传播
假设待归一化的维向量为，均值和标准差分别是和，LayerNorm的参数是和，那么层归一化后的输出为：
这里的极小量是为了防止标准差为0导致溢出。为了简单起见，我们不加上这一项，原公式也就变成了：
反向传播
假设损失函数对输出的梯度是，那么这里需要求三个梯度：、和。
令，那么原公式就变成了：
两个参数的梯度非常简单：
对输入的梯度等于：
推导过程
对输入的梯度可以写成：
这里只需要计算最后一项就行了：
其中只有当的时候才会等于1，否则都等于0。这里只需要求出均值和标准差对的梯度就行了。直接给出结论，证明比较简单，放在了文末：
代入可以得到：
最后带入梯度中可以得到：
均值和标准差的梯度
![深度学习基础入门篇[9.2]：卷积之1*1 卷积（残差网络）、2D/3D卷积、转置卷积数学推导、应用实例](https://ucc.alicdn.com/fnj5anauszhew_20230522_a720dc6037c64774b7c125705c2c186a.png?x-oss-process=image/resize,h_160,m_lfit)
