2. 锐度敏感且可靠的测试时熵最小化方法
为了缓解上述模型退化问题，本文提出了锐度敏感且可靠的测试时熵最小化方法 (Sharpness-aware and Reliable Entropy Minimization Method, SAR)。其从两个方面缓解这一问题：1）可靠熵最小化从模型自适应更新中移除部分产生较大 / 噪声梯度的样本；2）模型锐度优化使得模型对剩余样本中所产生的某些噪声梯度不敏感。具体细节阐述如下：
可靠熵最小化：基于 Entropy 建立梯度选择的替代判断指标，将高熵样本（包含图 6 (d) 中区域 1 和 2 的样本）排除在模型自适应之外不参与模型更新：
其中 x 表示测试样本，Θ 表示模型参数，
表示指示函数，
表示样本预测结果的熵，
为超参数。仅当 
时样本才会参与反向传播计算。
锐度敏感的熵优化：通过可靠样本选择机制过滤后的样本中，无法避免仍含有图 6 (d) 区域 4 中的样本，这些样本可能产生噪声 / 较大梯度继续干扰模型。为此，本文考虑将模型优化至一个 flat minimum，使其能够对噪声梯度带来的模型更新不敏感，即不影响其原始模型性能，优化目标为：
上述目标的最终梯度更新形式如下：
其中 
受启发于 SAM [4] 通过一阶泰勒展开近似求解得到，具体细节可参见本论文原文与代码。
至此，本文的总体优化目标为：
此外，为了防止极端条件下上述方案仍可能失败的情况，进一步引入了一个模型复原策略：通过移动监测模型是否出现退化崩溃，决定在必要时刻对模型更新参数进行原始值恢复。
实验评估
在动态开放场景下的性能对比
SAR 基于上述三种动态开放场景，即 a）混合分布偏移、b）单样本适应和 c）在线不平衡类别分布偏移，在 ImageNet-C 数据集上进行实验验证，结果如表 1, 2, 3 所示。SAR 在三种场景中均取得显著效果，特别是在场景 b）和 c）中，SAR 以 VitBase 作为基础模型，准确率超过当前 SOTA 方法 EATA 接近 10%。
表 1 SAR 与现有方法在 ImageNet-C 的 15 种损坏类型混合场景下性能对比，对应动态场景 (a)；以及和现有方法的效率对比
表 2 SAR 与现有方法在 ImageNet-C 上单样本适应场景中的性能对比，对应动态场景 (b)
表 3 SAR 与现有方法在 ImageNet-C 上在线非均衡类别分布偏移场景中性能对比，对应动态场景（c）
消融实验
与梯度裁剪方法的对比：梯度裁剪避免大梯度影响模型更新（甚至导致坍塌）的一种简单且直接的方法。此处与梯度裁剪的两个变种（即：by value or by norm）进行对比。如下图所示，梯度裁剪对于梯度裁剪阈值 δ 的选取很敏感，较小的 δ 与模型不更新的结果相当，较大的 δ 又难以避免模型坍塌。相反，SAR 不需要繁杂的超参数筛选过程且性能显著优于梯度裁剪。
图 7 与梯度裁剪方法的在 ImageNet-C（shot nosise, level 5) 上在线不平衡标签分布偏移场景中的性能对比。其中准确率是基于所有之前的测试样本在线计算得出
不同模块对算法性能的影响：如下表所示，SAR 的不同模块协同作用，有效提升了动态开放场景下测试时模型自适应稳定性。
表 4 SAR 在 ImageNet-C (level 5) 上在线不平衡标签分布偏移场景下的消融实验
Loss 表面的锐度可视化：通过在模型权重增加扰动对损失函数可视化的结果如下图所示。其中，SAR 相较于 Tent 在最低损失等高线内的区域（深蓝色区域）更大，表明 SAR 获得的解更加平坦，对于噪声 / 较大梯度更加鲁棒，抗干扰能力更强。
图 8 熵损失表面可视化
结语
本文致力于解决在动态开放场景中模型在线测试时自适应不稳定的难题。为此，本文首先从统一的角度对已有方法在实际动态场景失效的原因进行分析，并设计完备的实验对其进行深度验证。基于这些分析，本文最终提出锐度敏感且可靠的测试时熵最小化方法，通过抑制某些具有较大梯度 / 噪声测试样本对模型更新的影响，实现了稳定、高效的模型在线测试时自适应。
参考文献
[1] Yu Sun, Xiaolong Wang, Zhuang Liu, John Miller, Alexei Efros, and Moritz Hardt. Test-time training with self-supervision for generalization under distribution shifts. In International Conference on Machine Learning, pp. 9229–9248, 2020.[2] Dequan Wang, Evan Shelhamer, Shaoteng Liu, Bruno Olshausen, and Trevor Darrell. Tent: Fully test-time adaptation by entropy minimization. In International Conference on Learning Representations, 2021.[3] Shuaicheng Niu, Jiaxiang Wu, Yifan Zhang, Yaofo Chen, Shijian Zheng, Peilin Zhao, and Mingkui Tan. Efficient test-time model adaptation without forgetting. In International Conference on Machine Learning, pp. 16888–16905, 2022.[4] Pierre Foret, Ariel Kleiner, Hossein Mobahi, and Behnam Neyshabur. Sharpness-aware minimization for efficiently improving generalization. In International Conference on Learning Representations, 2021.[5] Tong Wu, Feiran Jia, Xiangyu Qi, Jiachen T. Wang, Vikash Sehwag, Saeed Mahloujifar, and Prateek Mittal. Uncovering adversarial risks of test-time adaptation. arXiv preprint arXiv:2301.12576, 2023.
