反向传播算法是神经网络中用于训练的核心算法，它通过计算损失函数相对于网络参数的梯度来更新参数，从而最小化损失函数。这个过程涉及到了复杂的数学运算，但其基本思想是利用链式法则来高效地计算这些梯度。通过反向传播，神经网络能够从输出层向输入层逐层调整权重，以提高模型的预测准确性。
反向传播算法的基本原理
反向传播算法的执行可以分为两个主要阶段：前向传播和反向传播。
- 前向传播：在这个阶段，输入数据被送入网络，逐层经过权重、激活函数等操作，最终产生输出。这个输出会与真实的标签进行比较，计算出一个损失值，该值表示了模型预测的好坏。
- 反向传播：在计算出损失值之后，反向传播算法通过求导的方式，从输出层开始，逆向逐层传播，计算每层参数的梯度（即损失函数对每个参数的偏导数）。这些梯度反映了损失函数对每个参数的敏感度，指导了参数更新的方向和步长。
数学解析
假设我们有一个简单的神经网络，它包含输入层、一个隐藏层和输出层。网络的目标是学习一个函数 f(x)，以最小化预测值和真实值之间的差异。我们使用 L 来表示损失函数。在这个设置中，每一层的权重可以表示为 W，偏置为 b。
1.前向传播：对于给定的输入 x，隐藏层的激活 a 可以表示为 a = σ(W₁x + b₁)，其中 σ 是激活函数，W₁ 和 b₁ 分别是隐藏层的权重和偏置。输出层的预测值 ŷ 可以表示为 ŷ = W₂a + b₂，其中 W₂ 和 b₂ 是输出层的权重和偏置。
2.计算损失：损失函数 L(ŷ, y) 衡量了预测值 ŷ 和真实值 y 之间的差异。
3.反向传播：
- 首先，计算输出层的梯度：∂L/∂ŷ，这反映了损失函数对预测值的敏感度。
- 然后，使用链式法则计算隐藏层权重 W₂ 的梯度：∂L/∂W₂ = (∂L/∂ŷ) * (∂ŷ/∂W₂)。
- 接下来，计算隐藏层激活 a 的梯度：∂L/∂a = (∂L/∂ŷ) * (∂ŷ/∂a)。这一步骤涉及到 W₂ 的梯度，因为 ŷ 的计算依赖于 a。
- 最后，计算输入层权重 W₁ 的梯度：∂L/∂W₁ = (∂L/∂a) * (∂a/∂W₁)。这一步需要通过 a 的梯度，因为 a 的计算依赖于 W₁。
4.参数更新：一旦计算出了所有权重的梯度，就可以使用梯度下降或其他优化算法来更新权重：W = W - η∂L/∂W，其中 η 是学习率。
举例说明
假设我们的任务是通过一个简单的神经网络来学习 XOR 函数，网络结构如上所述。我们选取平方差损失函数和 Sigmoid 作为激活函数。在这个例子中，我们逐步计算梯度，并更新权重。
- 给定一对输入 (x₁, x₂)，真实输出是 y。
- 假设经过一次前向传播，我们得到了预测值 ŷ。
- 计算损失 L = 1/2 * (y - ŷ)²。
- 通过反向传播，我们首先计算关于输出层权重的梯度，然后是隐藏层权重的梯度。
- 使用计算出的梯度更新权重。
在这个过程中，关键的步骤是应用链式法则来计算每个参数的梯度，这些梯度指示了为了减少损失，我们应该如何调整每个参数。通过迭代这个过程（即多次执行前向传播和反向传播），神经网络逐渐学习到将输入映射到正确输出的函数，从而实现对 XOR 函数的学习。
总结
反向传播算法是神经网络学习的基石，它允许网络通过反复迭代来逐步减少错误。通过精确计算每个权重对损失的贡献，反向传播提供了一种高效的方式来更新网络的参数，使得网络的预测越来越接近真实标签。尽管这个过程在数学上可能看起来复杂，但其背后的基本原理——利用链式法则来传播错误并更新参数——是直观的，并且已经被证明在各种不同的网络架构和任务中都非常有效。随着深度学习领域的发展，反向传播算法仍然是训练神经网络的核心技术之一，是理解和进一步探索复杂网络行为的基础。
