4、实验
4.1、消融实验
1、振荡阻尼
在表4中，作者研究了阻尼损失的强度如何影响网络的最终精度以及训练结束时振荡权重的比例。在前3行中可以观察到，随着系数λ的增加，振荡权重的比例降低，BN重新估计前后的精度差距缩小。然而，过多的阻尼会损害最终的精度，这表明过度的正则化会抑制权重在量化级别之间的有益移动。
解决这个问题的方法是在训练过程中逐渐增加正规化权重。这允许潜在权重在训练的第一阶段更自由地移动，同时通过应用更强的正则化来减少接近收敛的有害振荡。
作者发现λ的余弦退火计划在实践中效果良好。Han等人也注意到，这种规则化在训练的早期阶段是有害的，但实际上采用了两阶段优化过程。这样的策略可以显著抑制振荡，同时不会损害准确性。最佳阻尼配置比BN后重新估计基线提高了近1%，比BN前重新估计基线改善了5%以上。
在图4（左）中还看到了阻尼对图3中相同深度可分离层的潜在重量分布的影响。正如预期的那样，潜在权重现在聚集在量化bin中心周围，在决策边界几乎没有任何权重。
2、迭代权重冻结
在表5中展示了迭代权重冻结算法对各种冻结阈值的有效性。在整个训练过程中使用恒定的阈值，可以看到残差振荡的数量随着阈值的降低而显著减少，并且网络中只保留一些低频振荡。还可以看到，前BN重新估计精度更接近后BN重新估计准确性，正如人们在训练结束时振荡较少时所预期的那样。
然而，如果振荡阈值变得太低，那么在训练的早期阶段，太多的权重会被冻结，从而降低最终的准确性。为了解决这个问题，对冻结阈值应用了一个类似于阻尼中使用的退火计划。这能够使用更强的冻结阈值，并在训练结束时冻结几乎所有的振荡，此时它们最具破坏性。
最佳冻结阈值比BN后重新估计基线提高了近1%，比BN前重新估计基线改善了5%以上。它的精度与振荡阻尼相当，同时残差振荡显著减少（0.04%对1.11%）。
在图4（右）中可以看到迭代权值冻结如何改变MobileNetV2的层conv.3.1的潜在权值分布。大部分潜在权值现在被冻结在bin中心，去除在图3中决策边界观察到的峰值。
4.2、与其他QAT方法的比较
将克服振荡的方法与其他QAT替代方案进行了比较，并证明了它们在流行的高效神经网络的低比特量化中的有效性。为了与文献中现有的方法进行比较，作者对权重和激活进行了量化。在表6中展示了MobileNetV2的结果，并证明两种算法在3-bits和4-bits量化方面都优于文献中所有竞争的QAT技术。
还在表7和表8中分别获得了MobileNetV3 Small和EfficientNet lite的最新结果。在所有情况下，本文的振荡预防方法都比常用的LSQ基线显著提高（>1%），表明本文的方法对其他高效网络的普遍适用性。
可以注意到，与LSQ基线相比，振荡抑制导致训练时间增加了约33%。另一方面，迭代权重冻结在实现类似性能的同时，计算开销可以忽略不计。
4、参考
[1].Overcoming Oscillations in Quantization-Aware Training.
