卷积神经网络(CNN)反向传播算法

简介:

1. 回顾DNN的反向传播算法

    我们首先回顾DNN的反向传播算法。在DNN中,我们是首先计算出输出层的δLδL:

δL=J(W,b)zL=J(W,b)aLσ(zL)δL=∂J(W,b)∂zL=∂J(W,b)∂aL⊙σ′(zL)

    利用数学归纳法,用δl+1δl+1的值一步步的向前求出第l层的δlδl,表达式为:

δl=δl+1zl+1zl=(Wl+1)Tδl+1σ(zl)δl=δl+1∂zl+1∂zl=(Wl+1)Tδl+1⊙σ′(zl)

    有了δlδl的表达式,从而求出W,bW,b的梯度表达式:

J(W,b)Wl=J(W,b,x,y)zlzlWl=δl(al1)T∂J(W,b)∂Wl=∂J(W,b,x,y)∂zl∂zl∂Wl=δl(al−1)T
J(W,b,x,y)bl=J(W,b)zlzlbl=δl∂J(W,b,x,y)∂bl=∂J(W,b)∂zl∂zl∂bl=δl

    有了W,bW,b梯度表达式,就可以用梯度下降法来优化W,bW,b,求出最终的所有W,bW,b的值。

    现在我们想把同样的思想用到CNN中,很明显,CNN有些不同的地方,不能直接去套用DNN的反向传播算法的公式。

2. CNN的反向传播算法思想

    要套用DNN的反向传播算法到CNN,有几个问题需要解决:

    1)池化层没有激活函数,这个问题倒比较好解决,我们可以令池化层的激活函数为σ(z)=zσ(z)=z,即激活后就是自己本身。这样池化层激活函数的导数为1.

    2)池化层在前向传播的时候,对输入进行了压缩,那么我们现在需要向前反向推导δl1δl−1,这个推导方法和DNN完全不同。

    3) 卷积层是通过张量卷积,或者说若干个矩阵卷积求和而得的当前层的输出,这和DNN很不相同,DNN的全连接层是直接进行矩阵乘法得到当前层的输出。这样在卷积层反向传播的时候,上一层的δl1δl−1递推计算方法肯定有所不同。

    4)对于卷积层,由于WW使用的运算是卷积,那么从δlδl推导出该层的所有卷积核的W,bW,b的方式也不同。

    从上面可以看出,问题1比较好解决,但是问题2,3,4就需要好好的动一番脑筋了,而问题2,3,4也是解决CNN反向传播算法的关键所在。另外大家要注意到的是,DNN中的al,zlal,zl都只是一个向量,而我们CNN中的al,zlal,zl都是一个张量,这个张量是三维的,即由若干个输入的子矩阵组成。

    下面我们就针对问题2,3,4来一步步研究CNN的反向传播算法。

    在研究过程中,需要注意的是,由于卷积层可以有多个卷积核,各个卷积核的处理方法是完全相同且独立的,为了简化算法公式的复杂度,我们下面提到卷积核都是卷积层中若干卷积核中的一个。

3. 已知池化层的δlδl,推导上一隐藏层的δl1δl−1   

    我们首先解决上面的问题2,如果已知池化层的δlδl,推导出上一隐藏层的δl1δl−1

    在前向传播算法时,池化层一般我们会用MAX或者Average对输入进行池化,池化的区域大小已知。现在我们反过来,要从缩小后的误差δlδl,还原前一次较大区域对应的误差。

    在反向传播时,我们首先会把δlδl的所有子矩阵矩阵大小还原成池化之前的大小,然后如果是MAX,则把δlδl的所有子矩阵的各个池化局域的值放在之前做前向传播算法得到最大值的位置。如果是Average,则把δlδl的所有子矩阵的各个池化局域的值取平均后放在还原后的子矩阵位置。这个过程一般叫做upsample。

    用一个例子可以很方便的表示:假设我们的池化区域大小是2x2。δlδl的第k个子矩阵为:

δlk=(2486)δkl=(2846)

    由于池化区域为2x2,我们先讲δlkδkl做还原,即变成:

0000024008600000(0000028004600000)

     如果是MAX,假设我们之前在前向传播时记录的最大值位置分别是左上,右下,右上,左下,则转换后的矩阵为:

2000004000060800(2000000804000060)

    如果是Average,则进行平均:转换后的矩阵为:

0.50.5110.50.511221.51.5221.51.5(0.50.5220.50.522111.51.5111.51.5)

    这样我们就得到了上一层 J(W,b)al1k∂J(W,b)∂akl−1的值,要得到δl1kδkl−1

δl1k=J(W,b)al1kal1kzl1k=upsample(δlk)σ(zl1k)δkl−1=∂J(W,b)∂akl−1∂akl−1∂zkl−1=upsample(δkl)⊙σ′(zkl−1)

    其中,upsample函数完成了池化误差矩阵放大与误差重新分配的逻辑。

    我们概括下,对于张量δl1δl−1,我们有:

δl1=upsample(δl)σ(zl1)δl−1=upsample(δl)⊙σ′(zl−1)

4. 已知卷积层的δlδl,推导上一隐藏层的δl1δl−1  

    对于卷积层的反向传播,我们首先回忆下卷积层的前向传播公式:

al=σ(zl)=σ(al1Wl+bl)al=σ(zl)=σ(al−1∗Wl+bl)

    其中n_inn_in为上一隐藏层的输入子矩阵个数。

    在DNN中,我们知道δl1δl−1δlδl的递推关系为:

δl=J(W,b)zl=J(W,b)zl+1zl+1zl=δl+1zl+1zlδl=∂J(W,b)∂zl=∂J(W,b)∂zl+1∂zl+1∂zl=δl+1∂zl+1∂zl

    因此要推导出δl1δl−1δlδl的递推关系,必须计算zlzl1∂zl∂zl−1的梯度表达式。

    注意到zlzlzl1zl−1的关系为:

zl=al1Wl+bl=σ(zl1)Wl+blzl=al−1∗Wl+bl=σ(zl−1)∗Wl+bl

    因此我们有:

δl1=δlzlzl1=δlrot180(Wl)σ(zl1)δl−1=δl∂zl∂zl−1=δl∗rot180(Wl)⊙σ′(zl−1)

    这里的式子其实和DNN的类似,区别在于对于含有卷积的式子求导时,卷积核被旋转了180度。即式子中的rot180()rot180(),翻转180度的意思是上下翻转一次,接着左右翻转一次。在DNN中这里只是矩阵的转置。那么为什么呢?由于这里都是张量,直接推演参数太多了。我们以一个简单的例子说明为啥这里求导后卷积核要翻转。

    假设我们l1l−1层的输出al1al−1是一个3x3矩阵,第ll层的卷积核WlWl是一个2x2矩阵,采用1像素的步幅,则输出zlzl是一个2x2的矩阵。我们简化bl0bl都是0,则有

al1Wl=zlal−1∗Wl=zl

    我们列出a,W,za,W,z的矩阵表达式如下:

a11a21a31a12a22a32a13a23a33(w11w21w12w22)=(z11z21z12z22)(a11a12a13a21a22a23a31a32a33)∗(w11w12w21w22)=(z11z12z21z22)

    利用卷积的定义,很容易得出:

z11=a11w11+a12w12+a21w21+a22w22z11=a11w11+a12w12+a21w21+a22w22
z12=a12w11+a13w12+a22w21+a23w22z12=a12w11+a13w12+a22w21+a23w22
z21=a21w11+a22w12+a31w21+a32w22z21=a21w11+a22w12+a31w21+a32w22
z22=a22w11+a23w12+a32w21+a33w22z22=a22w11+a23w12+a32w21+a33w22

    接着我们模拟反向求导:

al1=J(W,b)al1=J(W,b)zlzlal1=δlzlal1∇al−1=∂J(W,b)∂al−1=∂J(W,b)∂zl∂zl∂al−1=δl∂zl∂al−1

    从上式可以看出,对于al1al−1的梯度误差al1∇al−1,等于第ll层的梯度误差乘以zlal1∂zl∂al−1,而zlal1∂zl∂al−1对应上面的例子中相关联的ww的值。假设我们的zz矩阵对应的反向传播误差是δ11,δ12,δ21,δ22δ11,δ12,δ21,δ22组成的2x2矩阵,则利用上面梯度的式子和4个等式,我们可以分别写出al1∇al−1的9个标量的梯度。

    比如对于a11a11的梯度,由于在4个等式中a11a11只和z11z11有乘积关系,从而我们有:

a11=δ11w11∇a11=δ11w11

    对于a12a12的梯度,由于在4个等式中a12a12z12z11z12,z11有乘积关系,从而我们有:

a12=δ11w12+δ12w11∇a12=δ11w12+δ12w11

    同样的道理我们得到:

a13=δ12w12∇a13=δ12w12
a21=δ11w21+δ21w11∇a21=δ11w21+δ21w11
a22=δ11w22+δ12w21+δ21w12+δ22w11∇a22=δ11w22+δ12w21+δ21w12+δ22w11
a23=δ12w22+δ22w12∇a23=δ12w22+δ22w12
a31=δ21w21∇a31=δ21w21
a32=δ21w22+δ22w21∇a32=δ21w22+δ22w21
a33=δ22w22∇a33=δ22w22
  

    这上面9个式子其实可以用一个矩阵卷积的形式表示,即:

00000δ11δ2100δ12δ2200000(w22w12w21w11)=a11a21a31a12a22a32a13a23a33(00000δ11δ1200δ21δ2200000)∗(w22w21w12w11)=(∇a11∇a12∇a13∇a21∇a22∇a23∇a31∇a32∇a33)

     为了符合梯度计算,我们在误差矩阵周围填充了一圈0,此时我们将卷积核翻转后和反向传播的梯度误差进行卷积,就得到了前一次的梯度误差。这个例子直观的介绍了为什么对含有卷积的式子求导时,卷积核要翻转180度的原因。

    以上就是卷积层的误差反向传播过程。

5. 已知卷积层的δlδl,推导该层的W,bW,b的梯度    

    好了,我们现在已经可以递推出每一层的梯度误差δlδl了,对于全连接层,可以按DNN的反向传播算法求该层W,bW,b的梯度,而池化层并没有W,bW,b,也不用求W,bW,b的梯度。只有卷积层的W,bW,b需要求出。

    注意到卷积层zzW,bW,b的关系为:

zl=al1Wl+bzl=al−1∗Wl+b

    因此我们有:

J(W,b)Wl=J(W,b)zlzlWl=δlrot180(al1)∂J(W,b)∂Wl=∂J(W,b)∂zl∂zl∂Wl=δl∗rot180(al−1)

    由于我们有上一节的基础,大家应该清楚为什么这里求导后要旋转180度了。

    而对于b,则稍微有些特殊,因为δlδl是三维张量,而bb只是一个向量,不能像DNN那样直接和δlδl相等。通常的做法是将δlδl的各个子矩阵的项分别求和,得到一个误差向量,即为bb的梯度:

J(W,b)bl=u,v(δl)u,v∂J(W,b)∂bl=∑u,v(δl)u,v

6. CNN反向传播算法总结

    现在我们总结下CNN的反向传播算法,以最基本的批量梯度下降法为例来描述反向传播算法。

    输入:m个图片样本,CNN模型的层数L和所有隐藏层的类型,对于卷积层,要定义卷积核的大小K,卷积核子矩阵的维度F,填充大小P,步幅S。对于池化层,要定义池化区域大小k和池化标准(MAX或Average),对于全连接层,要定义全连接层的激活函数(输出层除外)和各层的神经元个数。梯度迭代参数迭代步长αα,最大迭代次数MAX与停止迭代阈值ϵϵ

    输出:CNN模型各隐藏层与输出层的W,bW,b

    1) 初始化各隐藏层与输出层的各W,bW,b的值为一个随机值。

      2)for iter to 1 to MAX:

    2-1) for i =1 to m:

      a) 将CNN输入a1a1设置为xixi对应的张量

      b) for ll=2 to L-1,根据下面3种情况进行前向传播算法计算:

      b-1) 如果当前是全连接层:则有ai,l=σ(zi,l)=σ(Wlai,l1+bl)ai,l=σ(zi,l)=σ(Wlai,l−1+bl)

      b-2) 如果当前是卷积层:则有ai,l=σ(zi,l)=σ(Wlai,l1+bl)ai,l=σ(zi,l)=σ(Wl∗ai,l−1+bl)

      b-3) 如果当前是池化层:则有ai,l=pool(ai,l1)ai,l=pool(ai,l−1), 这里的pool指按照池化区域大小k和池化标准将输入张量缩小的过程。

      c) 对于输出层第L层: ai,L=softmax(zi,L)=softmax(WLai,L1+bL)ai,L=softmax(zi,L)=softmax(WLai,L−1+bL)

      c) 通过损失函数计算输出层的δi,Lδi,L

      d) for ll= L-1 to 2, 根据下面3种情况进行进行反向传播算法计算:

      d-1)  如果当前是全连接层:δi,l=(Wl+1)Tδi,l+1σ(zi,l)δi,l=(Wl+1)Tδi,l+1⊙σ′(zi,l)

      d-2) 如果当前是卷积层:δi,l=δi,l+1rot180(Wl+1)σ(zi,l)δi,l=δi,l+1∗rot180(Wl+1)⊙σ′(zi,l)

      d-3) 如果当前是池化层:δi,l=upsample(δi,l+1)σ(zi,l)δi,l=upsample(δi,l+1)⊙σ′(zi,l)

    2-2) for ll = 2 to L,根据下面2种情况更新第ll层的Wl,blWl,bl:

      2-2-1) 如果当前是全连接层:Wl=Wlαi=1mδi,l(ai,l1)TWl=Wl−α∑i=1mδi,l(ai,l−1)T, bl=blαi=1mδi,lbl=bl−α∑i=1mδi,l

      2-2-2) 如果当前是卷积层,对于每一个卷积核有:Wl=Wlαi=1mδi,lrot180(ai,l1)Wl=Wl−α∑i=1mδi,l∗rot180(ai,l−1), bl=blαi=1mu,v(δi,l)u,vbl=bl−α∑i=1m∑u,v(δi,l)u,v

    2-3) 如果所有WbW,b的变化值都小于停止迭代阈值ϵϵ,则跳出迭代循环到步骤3。

    3) 输出各隐藏层与输出层的线性关系系数矩阵WW和偏倚向量bb


本文转自刘建平Pinard博客园博客,原文链接:http://www.cnblogs.com/pinard/p/6494810.html,如需转载请自行联系原作者


相关文章
|
4天前
|
机器学习/深度学习 数据采集 算法
Python基于OpenCV和卷积神经网络CNN进行车牌号码识别项目实战
Python基于OpenCV和卷积神经网络CNN进行车牌号码识别项目实战
40 19
|
4天前
|
机器学习/深度学习 编解码
深度之眼(二十八)——神经网络基础知识(三)-卷积神经网络
深度之眼(二十八)——神经网络基础知识(三)-卷积神经网络
28 14
|
4天前
|
机器学习/深度学习 数据采集 监控
Python基于BP神经网络算法实现家用热水器用户行为分析与事件识别
Python基于BP神经网络算法实现家用热水器用户行为分析与事件识别
|
2天前
|
机器学习/深度学习 数据采集 监控
算法金 | DL 骚操作扫盲,神经网络设计与选择、参数初始化与优化、学习率调整与正则化、Loss Function、Bad Gradient
**神经网络与AI学习概览** - 探讨神经网络设计,包括MLP、RNN、CNN,激活函数如ReLU,以及隐藏层设计,强调网络结构与任务匹配。 - 参数初始化与优化涉及Xavier/He初始化,权重和偏置初始化,优化算法如SGD、Adam,针对不同场景选择。 - 学习率调整与正则化,如动态学习率、L1/L2正则化、早停法和Dropout,以改善训练和泛化。
3 0
算法金 | DL 骚操作扫盲,神经网络设计与选择、参数初始化与优化、学习率调整与正则化、Loss Function、Bad Gradient
|
3天前
|
机器学习/深度学习 数据采集 算法
Python实现人工神经网络回归模型(MLPRegressor算法)并基于网格搜索(GridSearchCV)进行优化项目实战
Python实现人工神经网络回归模型(MLPRegressor算法)并基于网格搜索(GridSearchCV)进行优化项目实战
|
4天前
|
机器学习/深度学习 数据采集 算法
Python基于卷积神经网络CNN模型和VGG16模型进行图片识别项目实战
Python基于卷积神经网络CNN模型和VGG16模型进行图片识别项目实战
|
4天前
|
机器学习/深度学习 算法 数据可视化
Python基于librosa和人工神经网络实现语音识别分类模型(ANN算法)项目实战
Python基于librosa和人工神经网络实现语音识别分类模型(ANN算法)项目实战
|
1月前
|
机器学习/深度学习
【从零开始学习深度学习】23. CNN中的多通道输入及多通道输出计算方式及1X1卷积层介绍
【从零开始学习深度学习】23. CNN中的多通道输入及多通道输出计算方式及1X1卷积层介绍
【从零开始学习深度学习】23. CNN中的多通道输入及多通道输出计算方式及1X1卷积层介绍
|
29天前
|
机器学习/深度学习 算法 计算机视觉
卷积神经网络(CNN)的工作原理深度解析
【6月更文挑战第14天】本文深度解析卷积神经网络(CNN)的工作原理。CNN由输入层、卷积层、激活函数、池化层、全连接层和输出层构成。卷积层通过滤波器提取特征,激活函数增加非线性,池化层降低维度。全连接层整合特征,输出层根据任务产生预测。CNN通过特征提取、整合、反向传播和优化进行学习。尽管存在计算量大、参数多等问题,但随着技术发展,CNN在计算机视觉领域的潜力将持续增长。
|
1月前
|
机器学习/深度学习 Shell
【从零开始学习深度学习】22. 卷积神经网络(CNN)中填充(padding)与步幅(stride)详解,填充、步幅、输入及输出之间的关系
【从零开始学习深度学习】22. 卷积神经网络(CNN)中填充(padding)与步幅(stride)详解,填充、步幅、输入及输出之间的关系