深度学习：神经网络从1到N

符号表示

1. 一层神经网络

逻辑回归实际就是一层神经网络

根据链式法则：

2. 两层神经网络

（1）Forward Propagation

Input Layer

Hidden Layer

令

则

Output Layer

（2） Borward Propagation

3. 三层神经网络

3_Layers_NN ： LINEAR -> RELU -> LINEAR -> RELU -> LINEAR -> SIGMOID

（1） Forward Propatation

（2） Borward Propatation

Layer 3：

Layer 2:

Layer 1:

4. L_Layers_NN

L_Layers_NN ： [LINEAR -> RELU] × \times× (L-1) -> LINEAR -> SIGMOID

For layer l    ( l = 1 , 2... , L )

Forward Propatation And Backward Propagation