【论文速递】CVPR2021 - 基于自适应原型学习和分配的小样本分割

简介: 【论文速递】CVPR2021 - 基于自适应原型学习和分配的小样本分割

【论文速递】CVPR2021 - 基于自适应原型学习和分配的小样本分割

【论文原文】:Adaptive Prototype Learning and Allocation for Few-Shot Segmentation

获取地址:https://openaccess.thecvf.com/content/CVPR2021/papers/Li_Adaptive_Prototype_Learning_and_Allocation_for_Few-Shot_Segmentation_CVPR_2021_paper.pdf

博主关键词:小样本学习,语义分割,自适应,原型学习

推荐相关论文:

【论文速递】TPAMI2022 - 小样本分割的整体原型激活
- https://phoenixash.blog.csdn.net/article/details/128664715

摘要:

原型学习被广泛应用于小样本分割。通常,通过平均全局对象信息从支持特征中获得单个原型。但是,使用一个原型来表示所有信息可能会导致歧义。本文提出了超像素引导聚类(SGC)和引导原型分配(GPA)两个新模块,用于多原型抽取和分配。 具体来说,SGC是一种不需要参数和训练的方法,通过聚合相似的特征向量来提取更有代表性的原型,而GPA能够选择匹配的原型来提供更准确的指导。通过将SGC和GPA集成在一起,我们提出了自适应超像素引导网络(ASGNet),这是一种轻量级模型,可以适应物体的大小和形状变化。此外,我们的网络可以很容易地推广到k-shot分割,有很大的改进,没有额外的计算成本。特别是,我们对COCO的评估表明,ASGNet在5-shot分割中超过了最先进的方法5%。

简介:

人类有一种非凡的能力,可以在看到少量的样本后学习如何识别新物体。另一方面,基于深度学习的计算机视觉系统已经取得了巨大的进步,但在很大程度上依赖于大规模的训练集。此外,深度网络主要使用预定义的类,无法泛化到新的类。few-shot学习领域研究人工学习系统中这种学习能力的发展,其中只有少数新类别的例子可用。

在这项工作中,我们解决了few-shot分割问题,其中目的是学习在给定的查询图像中分割对象,而只有少数具有真实分割掩码的支持图像可用。这是一个具有挑战性的问题,因为测试数据是训练集中不存在的新类别,支持图像和查询图像之间通常在外观和形状上有很大的变化。

Fig. 1. (a)单一原型学习与(b)提出的自适应原型学习与分配的比较。我们利用超像素引导聚类来生成多个原型,然后按像素分配它们来查询特征。

目前的小样本分割网络通常从查询图像和支持图像中提取特征,然后提出不同的特征匹配和对象掩码从支持图像到查询图像的转换方法。这种特征匹配和掩码迁移通常以两种方式之一进行:原型特征学习或亲和度学习。 原型学习技术将支持图像中的被掩盖对象特征压缩为单个或几个原型特征向量。然后,这些技术在查询图像中找到相似特征的像素位置,分割出所需的对象。原型学习的一个关键优势是原型特征比像素特征对噪声的鲁棒性更强。然而,原型特征不可避免地会丢失空间信息,当支持图像和查询图像之间的对象外观有很大变化时,这是很重要的。 此外,大多数原型学习网络[40,42,32,29,4]仅通过掩膜平均池化生成单个原型,如图1(a)所示,从而丢失信息和可分辨性。

而亲和学习技术[39,36,31]则直接尝试匹配支持图像中的对象像素来查询图像像素,从而传递对象掩码。这些技术使用学习的特征来预测交叉图像像素的亲和力(也称为连接强度),在执行特征匹配的同时,比原型学习方法更好地保存空间信息。 然而,亲和学习技术在尝试用密集亲和矩阵解决约束不足的像素匹配问题时,容易对训练数据进行过拟合。

在这项工作中,我们提出了一种新的原型学习技术,解决了现有技术的一些主要缺点。特别是,我们希望根据图像内容自适应地改变原型的数量及其空间范围,使原型具有内容自适应和空间感知能力。这种自适应的多原型策略对于处理不同图像中物体大小和形状的巨大变化非常重要。 直观地说,当一个物体占据了图像的很大一部分时,它携带了更多的信息,因此需要更多的原型来表示所有必要的信息。相反,如果物体相当小,背景的比例很大,那么一个或几个原型就足够了。此外,我们希望每个原型的支持区域(空间范围)能够适应支持图像中存在的对象信息。具体来说,我们的目标是根据特征相似度将支持特征划分为几个具有代表性的区域。我们还希望在查询图像中寻找相似特征的同时,自适应地选择更重要的原型。由于不同的对象部分在不同的图像区域和不同的查询图像中可见,我们希望在查询图像之间动态分配不同的原型进行特征匹配。例如,对象的某些部分可以在查询图像中被遮挡,我们希望动态地选择与查询图像中可见部分对应的原型。

我们通过自适应超像素引导网络(ASGNet)实现了这种自适应的多原型学习和分配,该网络利用超像素来适应原型的数量和支持区域。 原理图如图1(b)所示。特别地,我们提出了两个模块,超像素引导聚类(SGC)和引导原型分配(GPA),它们构成了ASGNet的核心。SGC模块对支持图像进行基于特征的快速超像素提取,得到的超像素质心被视为原型特征。由于超像素形状和数字对图像内容是自适应的,因此产生的原型也具有自适应性。GPA模块使用一种类似注意的机制,将最相关的支持原型特征分配给查询图像中的每个像素。综上所述,SGC模块在原型数量和它们的空间范围方面提供了自适应原型学习,而GPA模块在处理查询特征时提供了对所学习的原型的自适应分配。 这两个模块使ASGNet具有高度的灵活性和对不同对象形状和大小的自适应能力,使其能够更好地泛化到未见过的对象类别。我们作出以下贡献:

  • 我们提出了自适应超像素引导网络(ASGNet),这是一种灵活的原型学习方法,用于小样本分割,可适应不同的物体尺度、形状和遮挡。
  • 我们引入了两个新模块,即超像素引导聚类(SGC)和引导原型分配(GPA),分别用于自适应原型提取和分配。它们可以作为功能匹配的有效的即插即用组件。
  • ASGNet以更少的参数和更少的计算实现最佳性能的结果。具体而言,本文方法在Pascal-5 i /COCO-20i上5-shot设置下miou值为64.36%/42.48%,比目前最先进的方法高出2.40%/5.08%。

Fig. 2. 提出的自适应超像素引导网络整体架构

【社区访问】

【论文速递 | 精选】

阅读原文访问社区

https://bbs.csdn.net/forums/paper


AIEarth是一个由众多领域内专家博主共同打造的学术平台,旨在建设一个拥抱智慧未来的学术殿堂!【平台地址:https://devpress.csdn.net/aiearth】 很高兴认识你!加入我们共同进步!

目录
相关文章
|
Ubuntu 安全
Ubuntu 安全重启 / Ubuntu 系统死机解决方法
初装Ubuntu双系统时,经常会遇到各种各样的问题导致系统崩溃、卡死、黑屏等情况,新手或者小白可能直接选择长按电源键强制重启了
6240 0
|
数据库
【latex】在Overleaf的IEEE会议模板中,快速插入参考文献
【latex】在Overleaf的IEEE会议模板中,快速插入参考文献
4942 1
|
自然语言处理 算法 数据挖掘
自蒸馏:一种简单高效的优化方式
背景知识蒸馏(knowledge distillation)指的是将预训练好的教师模型的知识通过蒸馏的方式迁移至学生模型,一般来说,教师模型会比学生模型网络容量更大,模型结构更复杂。对于学生而言,主要增益信息来自于更强的模型产出的带有更多可信信息的soft_label。例如下右图中,两个“2”对应的hard_label都是一样的,即0-9分类中,仅“2”类别对应概率为1.0,而soft_label
自蒸馏:一种简单高效的优化方式
|
3月前
|
人工智能 定位技术 开发者
Qwen疑似服务中断:第三方监测显示连接错误,官方尚未回应
2026年8月26日,第三方平台StatusGator监测到Qwen服务异常,24小时内收到超250份中断报告,涉及Qwen3.7及Qwen3.8-Max等模型,多地用户反馈连接失败或过载。但DownForAI等其他平台显示服务正常。阿里云尚未发布官方说明。
688 0
|
2月前
|
人工智能 监控 JavaScript
最近火爆出圈的,FDE 到底是个什么岗位?
FDE(前沿部署工程师)是AI时代新型复合岗:驻客户现场,贯通技术与业务,主导大模型在真实场景的端到端落地。需兼具AI应用开发、工程化交付与业务沟通三大能力,非单纯“调API”或售前角色。高薪热门,但重实战、重结果。
3341 3
最近火爆出圈的,FDE 到底是个什么岗位?
|
8月前
|
数据采集 人工智能 边缘计算
面向工业 AI 的设备数据采集:标准与实践路径
在智能制造中,80%工业AI项目失败,根源不在算法或算力,而在于数据采集错配——用“给人看”的逻辑喂“给机器学”的AI。本文揭示面向AI的设备数据采集必须跨越的五大鸿沟:高频采样、上下文融合、保留原始噪音、捕获黑天鹅负样本、严苛时序对齐,并指出边缘计算网关是破局关键。(
669 7
|
机器学习/深度学习 传感器 数据采集
MATLAB基于PCA的Indian Pines数据集分类实现
MATLAB基于PCA的Indian Pines数据集分类实现
569 7
|
机器学习/深度学习 人工智能 算法
恶疟原虫目标检测数据集(2700张图片已划分、已标注)【数据集分享】
本数据集为 恶性疟原虫目标检测 提供了一个完整且高质量的基础,涵盖了显微镜下典型的细胞图像,并配备了标准化的 YOLO 格式标注,便于快速上手深度学习模型训练。研究人员和开发者无需从零开始标注和清洗数据,即可直接将其应用于 YOLOv5、YOLOv8、11、Faster R-CNN、Detectron2 等主流目标检测框架,极大缩短了实验周期。
|
机器学习/深度学习 编解码 算法
【YOLOv8改进】Polarized Self-Attention: 极化自注意力 (论文笔记+引入代码)
该专栏专注于YOLO目标检测算法的创新改进和实战应用,包括卷积、主干网络、注意力机制和检测头的改进。作者提出了一种名为极化自注意(PSA)块,结合极化过滤和增强功能,提高像素级回归任务的性能,如关键点估计和分割。PSA通过保持高分辨率和利用通道及空间注意力,减少了信息损失并适应非线性输出分布。实验证明,PSA能提升标准基线和最新技术1-4个百分点。代码示例展示了如何在YOLOv8中实现PSA模块。更多详细信息和配置可在提供的链接中找到。
1479 124