1. AdaDelta算法介绍
2. 从零实现AdaDelta算法
AdaDelta算法需要对每个自变量维护两个状态变量，即st和Δxt。我们按AdaDelta算法中的公式实现该算法。
%matplotlib inline import torch import sys import d2lzh_pytorch as d2l features, labels = d2l.get_data_ch7() def init_adadelta_states(): s_w, s_b = torch.zeros((features.shape[1], 1), dtype=torch.float32), torch.zeros(1, dtype=torch.float32) delta_w, delta_b = torch.zeros((features.shape[1], 1), dtype=torch.float32), torch.zeros(1, dtype=torch.float32) return ((s_w, delta_w), (s_b, delta_b)) def adadelta(params, states, hyperparams): rho, eps = hyperparams['rho'], 1e-5 for p, (s, delta) in zip(params, states): s[:] = rho * s + (1 - rho) * (p.grad.data**2) g = p.grad.data * torch.sqrt((delta + eps) / (s + eps)) p.data -= g delta[:] = rho * delta + (1 - rho) * g * g
使用超参数ρ=0.9来训练模型。
d2l.train_ch7(adadelta, init_adadelta_states(), {'rho': 0.9}, features, labels)
输出：
loss: 0.243728, 0.062991 sec per epoch
3. Pytorch简洁实现AdaDelta算法—optim.Adadelta
通过名称为Adadelta的优化器方法，我们便可使用PyTorch提供的AdaDelta算法。它的超参数可以通过rho来指定。
d2l.train_pytorch_ch7(torch.optim.Adadelta, {'rho': 0.9}, features, labels)
输出：
loss: 0.242104, 0.047702 sec per epoch
总结
- AdaDelta算法没有学习率超参数，它通过使用有关自变量更新量平方的指数加权移动平均的项来替代RMSProp算法中的学习率。
