🎏目录
🎈1 SGD
🎄1.1 原理
🎄1.2 构造
🎄1.3 参数详解——momentum
🎈2 Adam及AdamW
🎄2.1 更新规则
🎄2.2 理解一阶估计变量m和二阶估计变量v及探讨Adam如何利用的它们
🎄2.3 AdamW
✨1 SGD
损失函数是用来度量模型输出和真实值的偏差,损失函数越小,说明我们的模型效果越好,所以我们需要不停的最小化这个函数。如果损失函数是一个凸函数,求得最小值还是比较简单的,直接求导就可以。但是复杂的深度学习网络一般是一个非凸函数,很难直接求导,所以优化算法就是在这种情况下用来最小化损失函数。SGD是随机梯度下降,优化算法的一种。
🥚1.1 原理
SGD为随机梯度下降,原理可看刘建平老师博客。
🎃 1.2 构造
构造:
class torch.optim.SGD( params, lr, momentum=0, dampening=0, weight_decay=0, nesterov=False )
参数:
- params:需要优化的参数
- lr:float, 学习率
- momentum:float,动量因子
- dampening:float,动量的抑制因子
- weight_decay:float,权重衰减
- nesterov:bool,是否使用Nesterov动量
🎉 1.3 参数详解——momentum
一般随机梯度下降时,每次更新公式都是:
而增加动量后,公式是:
即在原值乘一个动量因子momentum(0<momentum<1),起到减速作用:
以一个例子说明,假设现梯度为5,经历两次梯度变化分别是-2和+3,momuntu=0.9。
传统下经历两次梯度变化,最终梯度应该是5=》3=》6。
使用momentum后本次梯度应该是5=》3=》0.9*3+3=5.7。局部上第二次梯度变化虽然仍是+3,但是由于使用了momuntu,整体上看是+2.7,起到一个减速作用。
✨ 2 Adam及AdamW
Adam结合了动量法和RMSProp算法的思想,通过计算梯度的一阶矩估计和二阶矩估计,自适应地调整学习率,从而实现更高效的参数更新。
🎄 2.1 更新规则
这里一阶矩估计变量m是Adam优化器中用来追踪梯度的一阶矩(均值)的变量。它类似于动量法中的动量变量,用于存储梯度的平均方向
二阶矩估计变量v是Adam优化器中用来追踪梯度的二阶矩(方差)的变量。它类似于RMSProp算法中的平方梯度累积变量,用于衡量梯度的变化情况
看到这里会有一些疑问,一阶矩估计变量m和二阶矩估计变量v如何理解,为什么通过他们调整学习率?
⛱️ 2.2 理解一阶估计变量m和二阶估计变量v及探讨Adam如何利用的它们
一阶估计变量m表示对梯度的一阶矩估计,它类似于梯度的平均值,即E(g)。
- 当|m|很大时,说明过往梯度与当前梯度很少有正负抵消,即说明过往梯度与当前梯度一般会同号,导致求出的过往梯度与当前梯度的期望绝对值大。
- 当|m|很小时,说明过往的大部分梯度以及当前梯度一般不同号,正负相抵。
二阶估计变量v表示对梯度的二阶矩估计,它类似于梯度的方差,即E(g^2)。
- 当v很大,由于g^2为非负数,说明过往大部分的梯度与当前梯度的绝对值都比较大。
- 当v很小,说明过往大部分的梯度与当前梯度的绝对值都比较小。
因此一共四种组合情况:
🌭 2.3 AdamW
AdamW对Adam中正则化项做了优化。不同于Adam采用L2正则化,AdamW将正则化项的梯度加入到反向传播公式中。如下图所示:
图片来源:https://www.cnblogs.com/tfknight/p/13425532.html
(如果是Adam则无绿色一项,如果是AdamW则无粉色一项)
总结来说效果上AdamW采用的权重衰减和L2正则化得到的效果相同,但是AdamW直接将梯度加到反向传播公式中而不是加在损失函数上,因此效率更高。