【论文原文】：CellTranspose: Few-shot Domain Adaptation for Cellular Instance Segmentation
获取地址：https://openaccess.thecvf.com/content/WACV2023/papers/Keaton_CellTranspose_Few-Shot_Domain_Adaptation_for_Cellular_Instance_Segmentation_WACV_2023_paper.pdf
博主关键词： 小样本学习，语义分割，域自适应，对比学习
推荐相关论文：
- 无
摘要：
自动细胞实例分割是过去二十年来加速生物学研究的一个过程，最近的进展已经产生了更高质量的结果，而生物学家付出的努力更少。目前的大多数努力都集中在通过生成高度一般化的模型来将研究人员完全排除在外。然而，当面对新的数据时，这些模型总是失败，这些数据的分布与用于训练的数据不同。在这项工作中，我们没有使用假设有大量目标数据可用性和用于再训练的计算能力的方法来解决问题，而是解决了设计一种需要最少的新注释数据和训练时间的方法的更大挑战。为此，我们设计了专门的对比损失，非常方便地利用少数注释样本。大量结果表明，3到5个注释导致模型具有以下精度:1)显著减轻协变量偏移效应;2)匹配或超过其他适应方法;3)甚至采用在目标分布上完全重新训练过的方法。适应训练只需几分钟，为模型性能、计算需求和专家级注释需求之间的平衡铺平了道路。
简介：
随着我们领域的成熟，通过计算机视觉技术自动化分析科学成像数据正变得越来越有说服力。为了加速科学发现，最近开发了基于神经网络的方法来自动分割和计数实验室产生的成像数据中的单个细胞实例[44,51,14]。这种类型的数据采集表现出显著的可变性，这是由于使用的成像方式多种多样，不同类型的组织及其处理方式。
目前针对特定任务的细胞实例分割方法主要是基于监督学习的。他们在大型数据集上接受训练，试图弥补他们将要使用的新数据的多样性。然而，要处理的新数据很可能不会以与用于训练模型的数据相同的方式分布，因此，它们将执行任务，通常准确性令人失望。为了解决这个协变量移位问题[42]，显而易见的解决方案是重新训练模型，这是昂贵和耗时的，因为它需要手动注释大量的新目标数据，我们正在寻求自动处理。另一种方法是使用域自适应方法，该方法试图使模型适应目标数据分布。目前用于分割的领域自适应方法在很大程度上适合于成像模式，或与细胞实例分割非常不同的特定任务或应用[15,53]。一些有前途的工作以无监督的方式解决了这个问题[26,27]。但这些方法都假设有大量的目标数据，可以进行相对密集的训练来适应模型。
在这项工作中，我们提倡一种更实用和可伸缩的解决方案，以解决在发行版之外很好地泛化的需求。我们假设用于分割实例(例如细胞体、膜或核)的模型已经在源数据集上进行了训练。然后，通过只注释目标数据集的少数样本，我们用低训练预算调整模型，以在新的分布上很好地泛化。我们介绍了CellTranspose，这是一种实现刚才描述的范例的新方法，用于细胞实例分割的少镜头监督适应。该方法建立在最先进的模型上，我们引入了新的损失和训练程序，以便快速适应新数据。
我们的框架允许对广泛的数据进行适当的分割，超出了当前通用方法的能力。我们表明，模型学习生成高保真分割只需要在目标数据集上添加少量注释，并在2-D和3-D数据上演示了这一点。特别是，很少有注释样本也足以达到与无监督适应模型相当的适应水平。此外，CellTranspose提供了一个更快的训练方案，与从头开始训练一个具有相似精度的模型相比。
Fig. 1. 显微镜数据的可变性。图像样本突出了细胞图像的可变性。从左至右:人U20S细胞，Hoechst和phalloidin染色，来自BBBC006 [29];用phalloidin和DAPI标记的神经母细胞瘤细胞来自细胞图像库[60];来自Tissuenet[14]的GI组织细胞CODEX联合检测成像;乳腺癌细胞，使用来自TNBC[34]的苏木精和伊红(H&E)染色
Fig. 2. 方法的体系结构。综合说明了我们基于对比学习的小样本元胞实例分割方法。
