Meta AI & UC Berkeley 新作 | Early Dropout: Make Hinton‘s Drouout Great Again!

Title: Dropout Reduces Underfitting

Paper: https://arxiv.org/pdf/2303.01500.pdf

Code: https://github.com/facebookresearch/dropout

导读

由Hinton等人于2012年提出，作为防止神经网络过拟合(overfitting)的正则化器，dropout已经经受住了时间的考验。**本篇论文证明了在训练开始时使用dropout，可以缓解欠拟合(underfitting)。**在训练早期阶段，论文发现dropout减少了mini-batches梯度的方向方差，并有助于将mini-batches梯度与整个数据集的梯度对齐。这有助于抵消SGD的随机性，并限制单个batch对模型训练的影响。论文找到了一个提高欠拟合模型性能的解决方案——early dropout：dropout只在训练的初始阶段应用，并在之后关闭。与没有dropout的模型相比，带有early dropout的模型获得的最终训练损失更低。此外，论文探索了一种正则化过拟合模型的对称技术——late dropout，其中dropout在早期迭代中不使用，只在训练后期被激活。在ImageNet和各种视觉任务上的实验表明，论文的方法可以持续提高泛化精度。论文的研究结果鼓励了对深度学习中正则化的研究，该方法可以成为未来神经网络训练的有用工具，特别是在大数据时代。

背景

Overfitting

**当一个模型在验证集合上和训练集合上表现都很好，但对测试集合上变现很差时，就会出现过拟合。**当数据量减少（上图上半部分）或模型容量增加（上图下半部分）时，就会发生过拟合。

Dropout

Dropout简单来说就是在网络前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。

Drop rate

在Dropout中将神经元的激活值设置为零的概率p，这是一个影响巨大的超参数。

训练精度随着Drop rate的增加而降低，然而，存在一个最优的下降率（在上面这种情况下是p=0.15），使测试精度最大化。

使用较大的数据集（上图上）或使用较小的模型（上图下，ViT-Tiny(T), Small(S), and Base(B)/32）进行训练，都会导致较低的最优下降率，在某些情况下甚至可能达到0。

Underfitting

随着数据集的规模不断增加，模型不容易对大量的数据进行过拟合，因此近年来dropout rate逐渐降低，甚至很多工作不再使用dropout。随着全球范围内生成和分布的数据量的快速增长，未来的模型可能会更难以正确地拟合数据，导致欠拟合。

贡献

论文提出了early dropout——dropout只在早期训练中使用——以帮助欠拟合模型更好地拟合。与没有dropout和标准dropout相比，early dropout降低了最终的训练损失

论文提出了late dropout——对于已经使用标准dropout的模型，论文建议在早期的训练时期删除dropout，以减轻过拟合。实验证明了它能提高大型模型的泛化精度

方法

在本章节中，论文探讨了dropout是否可以作为一种减少拟合不足的工具

推断思路

论文提出的相关的工具和指标对dropout的有效性进行了详细分析

Gradient norm

首先，如上图左半部分所示，droput模型产生的梯度的L 2 L_2L

2

范数更小，表明其每次梯度更新时的步长更小

Model distance

由于梯度步长较小，理论上droput模型从其初始点移动的距离比baseline要小。但是如上图左半部分所示，droput模型实际上比baseline移动了更大的距离，这与最初基于梯度规范的预期相反。说明，而步长较大的梯度更新可能是随机的、蜿蜒的，在任何一个特定的方向上都没有太大的进展。

Gradient direction variance

接着，论文在训练模型checkpoint来收集一组mini-batch梯度G GG，然后计算平均成对余弦距离来测量梯度方向方差（GDV）：

可以看到如上图所示，在一定的迭代次数（大约1000次）中，droput模型表现出较低的梯度方差，并朝着更一致的方向移动。

Gradient direction error

在训练开始时，dropout模型的mini-batch梯度与整个数据集梯度的距离更小，这表明它正在朝着优化总训练损失的更理想的方向移动（如上图所示）。然而，在大约1000次迭代之后，dropout模型会产生距离更远的梯度。这可能是dropout rate从减少欠拟合过渡到减少过拟合的转折点。

Bias-variance tradeoff

对于no-dropout模型，SGD mini-batch提供了整个数据集梯度的无偏估计，因为mini-batch梯度的期望等于整个数据集梯度。然而，随着dropout，估计变得或多或少有偏差，因为mini-batch梯度是由不同的子网络产生的，其期望的梯度可能或不匹配整个网络的梯度。这就导致梯度方差和梯度误差的减少。这种方差和误差的减少有助于防止模型对特定batch的过拟合，特别是在训练的早期阶段。

论文方案

基于上述分析中，可以知道早期使用dropout可以潜在地提高模型拟合训练数据的能力。基于这一观察结果，论文提出了下述观点：

1. 重新定义过拟合和欠拟合状
2. 模型处于欠拟合还是过拟合状态很难精确定义，论文使用以下定义：

如果一个模型使用standard dropout能更好地泛化，认为它处于过拟合状态

如果模型在没有dropout的情况下表现更好，认为它处于欠拟合状态

Early dropout

假如欠拟合的模型未使用dropout，尝试在某次迭代之前使用dropout，然后在之后的训练中禁用它

Late dropout

假如在使用standard dropout后过拟合的模型，在某次迭代之前不使用dropout，然后在后续的训练中使用它。

实验

Early Dropout

上图上半部分显示，Early Dropout持续提高了测试的准确性，也减少了训练损失，表明Early Dropout有助于模型更好地拟合数据。

上图下半部分显示，将训练epochs翻倍并减少mixup和cutmix强度，baselines实现了准确性的提高，有时设置大大超过了以前的文献结果。然而，early dropout仍然进一步提高了准确性。

Late Dropout

上表显示，与standard s.d（Stochastic depth，dropout的演化版本）相比，Late s.d提升了过拟合模型的测试精度。

消融实验

Scheduling strategies

Early dropout优于其他dropout策略或者相关的正则化策略。

Early dropout scheduling

Early dropout对各种drop rate变化策略都是鲁棒的。

Model sizes

Early dropout并对欠拟合模型更加有效，对过拟合模型（模型规模大）效果不佳

Training curves

一旦Early dropout阶段结束，其train loss显著下降，test accuracy显著提高，超过no-dropout baseline。

Dropout epochs

Early dropout在不同的epochs设置下都是有效的。

Drop rates

standard dropout(s.d)对dropout rate不是那么敏感，但Early dropout(s.d)的表现高度依赖于它。

Learning rate warmup

无论是否使用lr warmup，以及warmup的epoch数量，Early dropout也会提高准确性。

Downstream Tasks

最后，论文还在下游任务上对预训练的ImageNet-1K模型进行微调，评估Early dropout和Late dropout在目标检测、语义分割、分类等任务上的有效性，结果显示，使用early dropout、s.d和late s.d预训练的模型，能够能够显著提高下游任务的性能和泛化能力

总结

10年来，Dropout在应对过拟合问题上表现出色。在这项工作中，论文揭示了它的潜力，以帮助随机优化和减少欠拟合。论文的关键见解是，Dropout抵消了SGD带来的数据随机性，并在早期训练中减少了梯度方差。这也导致随机mini-batch梯度更符合底层的整个数据集梯度。在此基础上，论文提出了early dropout，以帮助欠拟合模型更好地拟合，而late dropout，以提高过拟合模型的泛化性。论文希望这项发现能激发更多的研究，以理解dropout，为基于梯度的学习设计正则化器，并且论文的方法有助于使用越来越大的数据集进行建模训练。

写在最后

如果您也对人工智能和计算机视觉全栈领域感兴趣，强烈推荐您关注有料、有趣、有爱的公众号『CVHub』，每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案！

同时欢迎添加小编微信: cv_huber，备注CSDN，加入官方学术|技术|招聘交流群，一起探讨更多有趣的话题！