Focal Loss详解以及为什么能够提高处理不平衡数据分类的表现

简介: Focal Loss详解以及为什么能够提高处理不平衡数据分类的表现

不同γ设置的损失曲线

640.png

Kaggle竞赛:SIIM-ISIC黑素瘤分类中,必须输出两类皮肤癌的皮肤病变图像中黑色素瘤的概率。因此它是一种二值图像分类任务。评价标准是AUC(曲线下面积)度量。首先,我研究了一个用交叉熵作为损失函数的模型。在网上搜索之后,我发现了这篇论文,Facebook AI research(FAIR)的团队引入了一个新的损失函数——Focal loss。

我用这个损失函数得到了一个很好的AUC分数(92+),所以我决定讨论一下这个损失函数。

目标检测

在讨论Focal loss之前,让我简要概述一下两种类型的对象检测器。一级和二级探测器。

两个阶段的目标检测

此类对象检测器需要两个阶段来检测对象。第一阶段扫描图像并生成建议,第二阶段对这些建议进行分类并输出边框和类。精度相当好,但速度慢于一级物体探测器。

一个阶段的目标检测

这类对象检测器只需要一个阶段来检测对象。将图像划分为(n x n)的网格,其中n可以是任意正整数。然后通过卷积神经网络检测对象,输出图像中与对象对应的包围框。请注意,所有网格都在这个网络的单一迭代中分类。这些物体探测器比两级物体探测器速度快,但相对来说精度较低。

Focal Loss(交叉熵损失的延伸)

Focal Loss基本上是交叉熵损失的延伸。它足够具体地处理阶级不平衡的问题。交叉熵损失被定义为

640.png

这里,y={-1,1}为ground truth label, p为待分类实例属于正类的概率(y=1)。

我们还可以将变量\pt定义为

640.png

所以交叉熵损失可以写成

640.png

这个损失函数在某种程度上不能处理正/负例子的重要性,因此引入了一个新的版本,名称为:Balanced Cross entropy(平衡交叉熵),并被定义为

640.png

这里引入了一个权重因子“α”,其范围为[0,1],正类为α,负类为“1 -α”,这两个定义合并在一个名为“α”的名称下,可以定义为

640.png

这个损失函数稍微解决了类不平衡的问题,但是仍然无法区分简单和困难的例子。为了解决这个问题,我们定义了焦损失。

Focal Loss的定义

理论定义:Focal Loss可以看作是一个损失函数,它使容易分类的样本权重降低,而对难分类的样本权重增加。

数学定义:Focal loss 调变因子(modulating factor)乘以原来的交叉熵损失。

公式为:

640.png

(1-pt)^γ为调变因子,这里γ≥0,称为聚焦参数。

从上述定义中可以提取出Focal Loss的两个性质:

  1. 当样本分类错误时,pt趋于0,调变因子趋于1,使得损失函数几乎不受影响。另一方面,如果示例被正确分类,pt将趋于1,调变因子将趋向于0,使得损耗非常接近于0,从而降低了该特定示例的权重。
  2. 聚焦参数(γ)平滑地调整易于分类的示例向下加权的速率。

FL(Focal Loss)和CE(交叉熵损失)的比较

当γ=2时,与概率为0.9的示例相比,概率为0.9的示例的损失比CE和0.968低100倍,损失将降低1000倍。顶部的图描述了不同γ值下的FL。当γ=0时,FL等于CE损耗。这里我们可以看到,对于γ=0(CE损失),即使是容易分类的例子也会产生非平凡的损失震级。这些求和的损失可以压倒稀有类(很难分类的类)。

Focal Loss*(一种优化后的形式)

对于Focal loss的新定义,我们可以将数量xt定义为:

640.png

这里y={-1,1}指定基本真标签。我们可以将pt写成:

我们可以用xt来定义Focal Loss损失:

640.png

γ:控制损失曲线的陡度。

β:控制损失曲线的偏移。

最后,让我们用CE、FL和FL*的损耗曲线图结束讨本篇文章(β和γ有两个设置)-

640.png

虽然Focal Loss是专门为单级目标检测定义的,它也可以很好地执行图像分类任务。

引用

Focal Loss for Dense Object Detection  https://arxiv.org/pdf/1708.02002.pdf

作者:Sarthak khandelwal

deephub翻译组

目录
相关文章
EndNote参考文献显示中国作者名的第二个字的首字母的方法
本文介绍利用EndNote软件,对论文参考文献中英文文献的汉语拼音姓名(即含有中国作者的英文论文)的名的第二个字的首写字母加以补充显示~
1784 1
EndNote参考文献显示中国作者名的第二个字的首字母的方法
|
9月前
|
编解码 算法 PyTorch
基于 YOLOv8 的多水果智能识别系统工程化实战 [目标检测完整源码]
本文从工程化与产品化的视角,系统讲解了一个基于 YOLOv8 的多水果种类智能识别系统的完整实现路径。通过将目标检测算法、统一推理逻辑与 PyQt5 图形界面进行解耦设计,项目不仅实现了对图片、视频和实时摄像头的高效识别,也真正完成了从模型训练到可交互应用的落地闭环。实践表明,YOLOv8 在多类别水果识别场景下兼顾了精度与实时性,而图形化封装显著降低了算法使用门槛,使系统具备良好的复用性与扩展性。整体方案对希望将计算机视觉技术应用于农业、零售或工业场景的开发者而言,具有明确的参考价值与实践意义。
720 15
基于 YOLOv8 的多水果智能识别系统工程化实战 [目标检测完整源码]
|
8月前
|
机器学习/深度学习 人工智能 监控
考试作弊行为目标检测数据集(5700张图片已标注)| YOLO训练数据集 AI视觉检测
本数据集含5700张考场图像,精准标注“俯身抄袭”“传递答案”“使用手机”三类作弊行为,采用YOLO标准格式(归一化txt),已划分训练/验证/测试集,适配YOLOv5-v10等模型,助力智能监考系统研发与AI行为识别研究。
|
计算机视觉
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
3291 10
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
|
机器学习/深度学习 人工智能 搜索推荐
BioEmu:微软黑科技炸场!生成式AI重构蛋白质模拟:千倍效率碾压传统计算,新药研发周期砍半
BioEmu 是微软推出的生成式深度学习系统,可在单个 GPU 上每小时生成数千种蛋白质结构样本,支持模拟动态变化、预测热力学性质,并显著降低计算成本。
1143 2
BioEmu:微软黑科技炸场!生成式AI重构蛋白质模拟:千倍效率碾压传统计算,新药研发周期砍半
|
机器学习/深度学习 算法 PyTorch
深度学习笔记(十三):IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU、WIOU损失函数分析及Pytorch实现
这篇文章详细介绍了多种用于目标检测任务中的边界框回归损失函数,包括IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU和WIOU,并提供了它们的Pytorch实现代码。
6050 1
深度学习笔记(十三):IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU、WIOU损失函数分析及Pytorch实现
|
机器学习/深度学习 存储 并行计算
Pytorch自动混合精度(AMP)介绍与使用 - autocast和Gradscaler
Pytorch自动混合精度(AMP)介绍与使用 - autocast和Gradscaler
Pytorch自动混合精度(AMP)介绍与使用 - autocast和Gradscaler
|
机器学习/深度学习 存储 人工智能
【AI系统】轻量级CNN模型综述
本文介绍了几种常见的小型化CNN模型,包括SqueezeNet、ShuffleNet、MobileNet等系列。这些模型通过减少参数量和计算量,实现在有限资源下高效运行,适用于存储和算力受限的场景。文章详细解释了各模型的核心技术和优化策略,如Fire Module、Channel Shuffle、Depthwise Separable Convolutions等,旨在帮助读者理解和应用这些高效的小型化CNN模型。
1964 3
|
机器学习/深度学习 算法 Go
YOLOv5网络结构解析
YOLOv5网络结构解析
10843 1