1. Adam算法介绍
2. 从零实现Adam算法
我们按照Adam算法中的公式实现该算法。其中时间步t tt通过hyperparams参数传入adam函数。
%matplotlib inline import torch import sys import d2lzh_pytorch as d2l features, labels = d2l.get_data_ch7() def init_adam_states(): v_w, v_b = torch.zeros((features.shape[1], 1), dtype=torch.float32), torch.zeros(1, dtype=torch.float32) s_w, s_b = torch.zeros((features.shape[1], 1), dtype=torch.float32), torch.zeros(1, dtype=torch.float32) return ((v_w, s_w), (v_b, s_b)) def adam(params, states, hyperparams): beta1, beta2, eps = 0.9, 0.999, 1e-6 for p, (v, s) in zip(params, states): v[:] = beta1 * v + (1 - beta1) * p.grad.data s[:] = beta2 * s + (1 - beta2) * p.grad.data**2 v_bias_corr = v / (1 - beta1 ** hyperparams['t']) s_bias_corr = s / (1 - beta2 ** hyperparams['t']) p.data -= hyperparams['lr'] * v_bias_corr / (torch.sqrt(s_bias_corr) + eps) hyperparams['t'] += 1
使用学习率为0.01的Adam算法来训练模型。
d2l.train_ch7(adam, init_adam_states(), {'lr': 0.01, 't': 1}, features, labels)
输出：
loss: 0.245370, 0.065155 sec per epoch
3. Pytorch简洁实现Adam算法–optim.Adam
通过名称为“Adam”的优化器实例，我们便可使用PyTorch提供的Adam算法。
d2l.train_pytorch_ch7(torch.optim.Adam, {'lr': 0.01}, features, labels)
输出：
loss: 0.242066, 0.056867 sec per epoch
总结
- Adam算法在RMSProp算法的基础上对小批量随机梯度也做了指数加权移动平均。
- Adam算法使用了偏差修正。
