目录
BP算法思路简介
1、神经网络训练的优化目标
2、梯度下降
3、反向传播（backpropagation）算法
4、前向传播计算
5、反向传播误差信号
6、更新参数
链式法则
链式法则简介
1、链式法则与复合函数
2、链式法则和计算图
链式法则使用
BP算法原理推导—以三层神经网络为例
1、理论推导
1.1、前向传播计算
数学式子描述该神经网络：
(1)、一般情况下，同一层的激活函数都是一样的，并且此处是进行二分类，所以隐藏层、输出层都可以采用Sigmoid激活函数。
1.2、反向传播计算
反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数，损失函数定义为 L(y，y^)，其中y是该样本的真实类标。使用梯度下降进行参数的学习，我们必须计算出损失函数关于 神经网络中各层参数（权重w和偏置b)的偏导数。
0、比如要对第k隐藏层参数w、b求偏导数
1、先计算
因为偏置b是一个常数项，因此偏导数的计算也很简单。
2、再计算
