3、Focal Loss For BBR
在BBR中，也存在训练实例不平衡的问题，即由于图像中目标目标的稀疏性，回归误差较小的高质量例子的数量远少于低质量例子（异常值）。最近的研究表明，离群值会产生过大的梯度，这对训练过程有害。因此，制作高质量的例子对网络训练过程贡献更多的梯度是至关重要的。
在最近的研究中试图基于SmoothL1的损失来解决上述问题。在本节中，还从Smooth L1损失开始，并提出Focal L1损失，以增加高质量例子的贡献。此外，作者还发现，简单的方法不能直接适用于基于IOU的损失。因此，最终提出了Focal-EIOU损失来提高EIOU损失的性能。
3.1、Focal L1 Loss
首先，列出了理想损失函数的性质如下：
- 当回归误差趋于零时，梯度幅度的极限应该为零。
- 梯度幅度应在小回归误差附近迅速增大，在大回归误差区域逐渐减小。
- 应该有一些超参数来灵活地控制低质量实例的抑制程度。
- 对于超参数的变值，梯度函数家族应该有一个标准化的尺度，例如，(0,1]，这有助于在高质量和低质量的例子之间的平衡。
根据上述条件，随着边界框回归误差的变化，可以假设一个梯度幅度的期望函数曲线，如图5(a)所示该函数是，满足性质1和2。接下来，构造了一个带有参数β的函数族来控制曲线的形状，如图5(b)所示随着β的增加，异常值的梯度幅度将被进一步抑制。然而，高质量的例子的梯度幅度也会减少，这不是所期望的。因此，添加另一个参数α，根据属性4的要求，将不同β的梯度大小归一化为[0,1]。最后，梯度大小函数的族可以表示如下:
这里，由于以下原因获得了β的值范围。当，，这意味着g(x)是具有全局最大值的凹函数。求解，可以得到。作为，。还必须确保，那么，。为了满足性质4，设置最大值得到α与β的关系：。通过积分上述梯度公式，可以得到BBR的Focal L1损失:
其中C是一个常数值。以确保在等式中的在x = 1处是连续的，有。
图4(b)显示，根据β，提出的Focal L1损失可以增加内值梯度的值，抑制异常值的梯度值。较大的β要求内部有很少的回归误差，并快速抑制异常值的梯度值。
同样，在图4(a)中，蓝色的曲线表示β的最大值。随着回归误差的增加，蓝色曲线的损失首先迅速增加，然后趋于稳定。β值最小的橙色曲线增长得越来越快，在x = 1左右达到峰值。现在可以通过Focal L1损失，来计算定位损失，其中B是回归结果，是回归目标。
3.2、Focal-EIOU Loss
为了使EIOU损失集中于高质量的示例，自然可以考虑在等式中替换 x 与EIOU的损失联系在一起。然而，作者观察到上述组合的效果不太好。分析结果如下：
给定偏移量，Focal L1损失的梯度为，其中等于1或者-1，因此即使偏移很小，还可以带来足够的梯度以使模型持续优化。然而，如果用替换偏移量，梯度可以计算为。
这里不再是一个常量。此外，在实证研究中，随着接近零，它将非常小，而在当时也接近于零。因此，在乘法之后，整体梯度将更小，这削弱了对具有小的Box进行重新加权的效果。为了解决这个问题，使用IOU的值来重新计算 loss的权重，并得到Focal-，如下所示
其中，和是控制异常值抑制程度的参数。
3.3、算法流程
4、实验
4.1、消融实验
1、IOU方法对比
2、Tradeoff Weight的影响
3、FocalL1 Loss
4、Focal-EIOU Loss
4.2、SOTA对比
4.3、可视化对比
5、参考
[1].Focal and Efficient IOU Loss for Accurate Bounding Box Regression
6、推荐阅读
姿态估计 | 基于CenterNet究竟还可以做多少事情？AdaptivePose便是经典！
