Title: LMFLOSS: A HYBRID LOSS FOR IMBALANCED MEDICAL IMAGE CLASSIFICATION
Author: Labib Chowdhury et al. (Giga Tech Limited)
Paper: https://arxiv.org/pdf/2212.12741.pdf
引言
类别不平衡一直是困扰着绝大部分计算机视觉领域的头号麻烦问题，今天简单为大家介绍下应用于医学影像数据的一种类别不均衡损失函数解决方案。经过在眼部疾病智能识别 ODIR、人机对抗 HAM 以及国际皮肤成像协作 (ISIC)-2019 数据集上的广泛实验对比，本文方法相比于 Foca Loss 可以在少于 90 个训练样本的情况下实现了 80% 的 f1 分数，稳定提升 2% ~ 10%，下面一起来探究看看。
先来简单回顾下，对于类别不均衡问题，以往的方法是如何解决的。大体上主要有两种，即以数据为中心驱动和以算法为中心的解决方案。
数据策略
以数据为中心的类别不均衡解决方法主要有两种：过采样和欠采样。过采样试图为少数类别生成人工数据点，而欠采样旨在消除多数类别的样本。
算法策略
算法层面的策略，特别是在深度学习领域，主要侧重于开发损失函数来应对类不平衡问题，而不是直接操纵数据。一种简单的方式便是为每个类别都设置相应的权重，以便与多数类别相比，少数类别样本的错误分类受到更严重的惩罚。另一种方法是为每个训练样本自适应地设置一个唯一的权重，以便硬样本获得更高的权重。
在本文中，作者便提出了一种称为 Large Margin aware Focal (LMF) Loss 的新型损失函数，以缓解医学成像中的类不平衡问题。该损失函数动态地同时考虑硬样本和类分布。
方法
Focal Loss
说到类别不均衡的损失函数，不得不提的便是 Focal Loss。对于分类问题，大家常用的便是交叉熵损失 BCE Loss，该损失函数对所有类别均一视同仁，即赋予同等的权重学习。而 Focal Loss 主要就是交叉熵损失改进的，通过引入 $ \alpha $ 和 $ \gamma $ 两个调节因子来调整样本数量和样本难易程度，以便模型专注于学习少数类。具体公式如下：
LDAM Loss
《 Learning imbalanced datasets with label-distribution-aware margin loss 》 这篇文章中提出了另一项减轻类不平衡问题的工作，称为标签分布感知边距（LDAM）损失。作者建议对少数类引入比多数类更强的正则化，以减少它们的泛化误差。如此一来，损失函数保持了模型学习多数类并强调少数类的能力。LDAM 损失侧重于每个类的最小边际和获得每个类和统一标签测试错误，而不是鼓励大多数类训练样本与决策边界的大边距。换句话说，它只会鼓励少数群体获得相对较大的利润。此外，作者提出了用于获得多个类别 1、2、…、k 的类别相关边距的公式: $ \gamma_{j} = \frac{C}{n_{j}^{1/4}}$.
LMF Loss
Focal Loss 创建了一种机制，可以更加强调模型难以分类的样本；通常，来自少数群体的样本将属于这一类。相比之下，LDAM Loss 通过考虑数据集的类别分布来判断权重。我们假设与单独使用每个功能相比，同时利用这两个功能可以产生有效的结果。因此，作者提出的 Large Margin aware Focal (LMF) 损失是 Focal 损失和由两个超参数加权的 LDAM 的线性组合，公式如下：
这里，α 和 β 是常数，被认为是可以调整的超参数。 因此，本文提出的损失函数在单个框架中联合优化了两个独立的损失函数。通过反复试验，作者发现将相同的权重分配给两个组件会产生良好的结果。
实验
上述表格显示了本文所提出的方法和基线模型在上述三个数据集上的结果。结果表明，在大多数情况下，所提出的 LMF 优于交叉熵损失以及流行的Focal Loss 和 LDAM Loss。 例如，对于 ODIR-5K 测试集，我们可以看到本文提出的方法分别从 EfficientNetv2 和 ResNet50 获得了 62.94 和 57.73 f1得分，性能提高了 2.5% 以上。 对于 HAM10k 数据集，该方法实现了近 3% 的性能提升。 ISIC-2019 的改进最为显着。 当与预训练的 EfficientNetv2 一起使用时，提议的 LMF 实现了近 5% 的性能提升。使用更大的预训练 ResNet50，与 f1 方面的其他方法相比，性能提高了近 10%。 值得注意的是，在其他指标中，例如准确性、精度和召回率，本文提出的方法几乎在所有情况下都优于其他方法。
上图说明了使用不同方法训练的模型在 HAM-10K 数据集的单个样本上生成的注意力图（使用 Grad-CAM 生成）。 可以清楚的看到，基于 LMF 损失训练的模型具有更大更相关的注意力区域，并预测正确的预测类别。
总结
本文提出了一种 Large Margin aware Focal (LMF) loss，可以同时利用数据集的类别分布并动态强调硬样本。当应用于三个不同的医学图像分类数据集时，所提出的 LMF 与其他已发表的作品相比显示出更好的结果，例如医学图像分类领域的 Focal loss 和 LDAM loss。当然，这个方法还可以扩展到图像分割等领域，所以说排列组合这东西在任何时候都不会过时，你说是吧？
如果您也对人工智能和计算机视觉全栈领域感兴趣，强烈推荐您关注有料、有趣、有爱的公众号『CVHub』，每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案！欢迎添加小编微信号: cv_huber，备注"CSDN"，加入 CVHub 官方学术&技术交流群，一起探讨更多有趣的话题！
