开发者学堂课程【机器学习算法 :误差反向传播算法-4】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/535/detail/7243
误差反向传播算法-4
内容介绍
一、BP 网络训练步骤
二、再谈激活函数的特点
三、误差曲面存在的问题
四、标准 BP 算法存在的问题
五、标准 BP 算法改进:增加动量项
六、标准 BP 算法改进:自适应调节学习率
七、标准 BP 算法改进:陡度因子
一、BP 网络训练步骤
1.BP 神经网络的一般训练步骤︰
初始化:网络结构(网络层数、输入输出及隐藏层节点个数)、权值矩阵、阈值
(1)选择某个样本 k 参加训练∶
- 计算隐藏层输出
计算样本对应的各层的输入和输出
- 计算输出层输出
利用期望输出与实际输出,计算误差函数对输出层的各神经元的偏导
- 计算误差
利用期望输出与实际输出,计算误差函数对隐层层的各神经元的偏导
- 根据误差更新权重
根据以下两个式子更新权重。
① 利用公式修正隐藏层到输出层的权重:
② 利用公式修正输入层到隐藏层的权重:
(2)完成以上后,判断是否需要继续训练∶
£ 是否达到最大循环次数(所设置的循环次数)
□全局误差是否满足期望
全局误差的计算:
结束训练,得到神经网络模型
注意:
虽然使用的是一个样本来训练网络,但网络的好坏不能用一个样本来评判,要使用所有的输入样本都用当前的权重来计算一遍,然后查看总体的误差是否可以接受,若能够接受训练结束,若无法接受,返回上一步,继续挑拣下一个样本,参加训练,直到满足两个条件之一,得到最后的神经网络模型。
2.图例如下
二.再谈激活函数的特点
1.一个好的激活函数通常会具有的特点:
- 非线性:导数不能是常数,否则网络会退化成单层网络。若在对函数求导时返回值为常数,为一个直线,即为退化了,多层网络返回了一个单层网络。
- 处处可微:或者说几乎处处可微,保证能计算梯度,从而进行参数优化
- 计算简单:降低计算难度和复杂程度
- 非饱和性∶饱和指在某些区间内,梯度接近于零(梯度消失),使得参数无法继续更新,即无法收敛
- 单调性:即导数符号不变(朝一个方向变化),避免梯度方向经常变化导致的不易收敛
- 有限的输出范围∶面对不同范围的输入也会保持输出的稳定性,但有时会导致梯度消失
三、误差曲面存在的问题
误差曲面 E=F(XP,W,V,dP)通常维数比较多,形状比较复杂,当存在以下两种情况时,对梯度法最小化损失函数有比较大的影响:
1. 存在平坦区域:
每次更新权重w时,都会用原有的权重 w-△w,若 △w 十分小,则权重的更新就十分慢。
当 ok 或者 1-ok 趋近于0时,无论 E 的取值或者变化如何,梯度基本不变,即权值更新变慢,也称作激活函数的饱和区
2. 存在多个局部最小值:
其特点是梯度为0,使得限于局部最小值而不能自拔。实际上若陷入某个趋度为0的地方,取得的值即为局部的最小值,而非全局的最小值。
四、标准 BP 算法存在的问题
1.常见的问题
□容易陷入局部最小,得不得到全局最优值
□饱和区导致训练次数多,但是收敛缓慢
□设计网络时,关键信息选取无明确依据,如:难以确定几层隐层数合适以及节点个数。同时输入也并不确定,如:输入时每个样本有5个输入值,并非输出就是5个,因为可能需要做拓冲扩展,扩展之后可能就是10个。
- 隐层数
- 隐层节点数
- 学习速率
□训练顺序对训练有影响,有“遗忘”的特点
在训练模型时,对于样本的输入顺序对权重的影响是不一样的,所以也有影响。
五、标准 BP 算法改进:增加动量项
标准BP算法在更新权重时,只考虑了当前状态下的误差梯度,而未考虑之前的梯度变化情况,导致训练过程震荡,收敛过慢,为了提高训练速度,在权值调整公式中增加一项,用来保留之前的权重更新的信息,即权重更新公式变为:
△w(t) = ηδx + αw(t-1)
即在原来的 △w 的基础上增加一项更新之前的权重变为 αW(t- 1),加上 α,使得可以调节 α 参数,使得式子更加合理。
其中,αW(t- 1) 被称作动量项,从前一次的权重更新的量中取一部分叠加到当前的更新量中,从而增加了之前梯度变化的影响。简单来说,就是使得它变化更加稳定,减少过度震荡。动量项实际上就是解决了“遗忘”问题。
α 被称作动量系数,其取值一般在(0,1)之间。
动量项反映了以前积累的权重调整经验,使权重调整有了“记忆”
动量项对当前调整起到了阻尼的作用。当误差变化起伏剧烈时,动量项可以减小震荡趋势提高训练速度。
六、标准 BP 算法改进:自适应调节学习率
标准 BP 算法中的 n 称作学习率、学习速率、步长等,通常定为常数,在权重更新中起到了较大的作用,该值选择不合适,会严重影响学习过程和学习结果。
□结合误差曲面,当在平坦区时,希望学习率大一些,达到同样的训练效果的同时,可以减少训练次数
□当在误差变化剧烈的区域,希望学习率小一些,以免步子过大,迈过理想值,从而引起不合理的震荡
可在学习过程中适当调整学习率,方法很多,如∶
设置初始学习率η
经过一批权值调整步骤后,
如果总误差上升,说明学习率大了,需要减小,则:
η(t+ 1 )=βη(t)
如果总误差下降,说明学习率小了,可以增加,则:
η(t+ 1 )=θ(t)
七、标准 BP 算法改进:陡度因子
进入误差曲面的平坦区,通常是因为神经元进入了激活函数的饱和区,如果能设法在饱和区内对激活函数进行调整,比如压缩神经元的净输入,使其输出退出饱和区,就可以脱离当前的平坦区。可以在原激活函数中引入陡度因子 λ∶
当有 △E 接近0,而 dk-ok 较大时,进入平坦区,此时,令 λ>1, netk 坐标被压缩入倍,激活函数的敏感区变长,一些绝对值较大的 netk 退出饱和区,当 λ=1 时,恢复原状,当 λ<1 时,更快进入饱和区。
由图可以看出,λ=1 时,为中间黑色曲线;λ<1 为上方红色曲线;λ>1 为下方蓝色曲线。可以看出,在饱和区时,它们的变化都不明显。