【论文速递】IJCV2022 - CRCNet:基于交叉参考和区域-全局条件网络的小样本分割

简介: 【论文速递】IJCV2022 - CRCNet:基于交叉参考和区域-全局条件网络的小样本分割

【论文原文】:CRCNet: Few-shot Segmentation with Cross-Reference and Region-Global Conditional Networks

获取地址:https://link.springer.com/article/10.1007/s11263-022-01677-7

博主关键词: 小样本学习,语义分割,孪生网络

推荐相关论文:

- 无


摘要:


小样本分割的目的是学习一种只需要少量训练图像就可以推广到新类的分割模型。在本文中,我们提出了一种用于小样本分割的交叉参考和局部全局条件网络(CRCNet)。与以往只预测查询图像掩码的工作不同,我们提出的模型同时对支持图像和查询图像进行预测。 我们的网络通过交叉引用机制可以更好地找到两幅图像中同时出现的物体,从而帮助完成小样本分割任务。为了进一步改进特征比较,我们开发了一个局部-全局条件模块来捕获全局和局部关系。此外,我们还开发了掩码优化模块,对前景区域进行循环优化预测。在PASCAL VOC 2012、MS COCO和FSS-1000数据集上的实验表明,我们的网络达到了最新的性能。

关键词 -小样本学习,图像分割。


简介:


自ImageNet分类挑战[8]取得巨大成功以来,深度神经网络已广泛应用于视觉理解任务,如图像分类[14,22]、目标检测[43]、语义分割[26]和图像字幕。由于大规模标记数据集的数据驱动特性,经常需要训练深度模型。然而,在具有像素级注释的任务(如语义分割、实例分割和视频分割)中,收集标记数据可能是非常昂贵的。此外,数据收集通常是针对一组特定的类别。以前课上学到的知识很难直接转移到看不见的课上。直接微调训练模型仍然需要大量新的标记数据。另一方面,为了解决这一问题,提出了小样本学习。本文的目标是少量图像分割。小样本分割的目的是寻找类别的前景区域与提供的支持图像相同,只看到少数标记的例子。

许多文献[9,24,62,63]将小样本分割任务表述为引导分割任务。引导信息从查询图像中前景预测的标记支持集中提取,通常采用不对称的双分支网络结构实现。以查询真值掩码为监督,对模型进行优化。但是,这种不对称结构只是利用支持图像来引导查询图像,并没有充分利用支持图像和查询图像信息。我们的工作认为,查询集和支持集的角色可以在小样本分割模型中切换。 具体来说,支持图像可以指导查询集的预测,相反,查询图像也可以帮助对支持集进行预测。受图像共分割文献[3,12,20,39,51]的启发,我们提出了一个对称的交叉参考网络,两个头部同时对查询图像和支持图像进行预测。 网络设计与以往作品的差异如图1所示。我们的网络设计的关键组件是交叉引用模块,它通过比较两张图像的共现特征来生成增强的特征表示。在两幅图像中,对下游前景进行了增强表示。同时,交叉引用模块还对两幅图像中同时存在的物体进行了预测。该子任务在训练阶段提供了一个辅助损耗,以方便交叉引用模块的训练。

640.png

度量学习已广泛应用于小样本学习[49,63];然而,在所有像素对之间进行比较是一个巨大的时间成本。为了解决这一问题,我们利用前景平均池化操作从支持图像集中捕获全局表示,检索查询图像中的类别信息。特别地,我们融合目标类别的特征来生成类别相关向量。 由于小样本分割的目标只是找到所分配对象类别的前景掩码,因此任务相关向量作为分割目标类别的条件。

仅将支持映像的全局表示与查询映像合并将导致一些限制。它将忽略对象部分之间的局部相似性。由于遮挡、视点变化和其他原因,一个物体可能只与同一类别的其他物体部分相似——只有部分相似。全局特征可能无法捕获这种部分级的相似性关系。为了减轻这些限制,我们研究了查询图像和支持图像之间的区域级比较,以进一步增强条件模块。 受[62]的启发,我们开发了一个局部-全局条件模块,以有效地将全局信息和局部信息合并到比较模块中。

由于物体外观存在着巨大的差异,因此在图像中挖掘前景区域可以分为多个步骤。我们开发了一个有效的掩码优化模块来迭代优化我们的预测。在最初的预测中,网络被期望定位高置信度的种子区域。然后将置信度映射保存为模块中的缓存,并用于以后的预测。每次做出新的预测时,我们都会更新缓存。在运行掩膜优化模块后,我们的模型可以更好地预测前景区域。我们通过经验验证了这种轻量级模块可以显著提高性能。

在提供多张支持图像的k-shot图像分割中,以往的方法[9,24,63]通常使用1-shot模型对每一张支持图像单独进行预测,并融合其特征或预测掩码。在我们的论文中,我们建议使用标记的支持示例对我们的网络的部分进行微调。 由于网络可以对两个图像输入进行预测,我们最多可以使用k^2个图像对来微调我们的网络。我们基于微调的方法的一个优点是,它可以受益于增加支持图像和持续提高精度。相比之下,当提供更多的支持图像时,基于融合的方法可以快速饱和。在我们的实验中,我们在1shot、5shot和10shot的设置中验证了我们的模型。

本文的主要贡献如下:

  • 我们提出了一种新的交叉参考网络,它可以同时对小样本图像分割任务中的查询集和支持集进行预测。通过挖掘两幅图像的共现特征,我们提出的网络可以有效地改善结果。
  • 我们开发了一个掩码优化模块,该模块具有置信度缓存,能够周期性地优化预测结果。
  • 我们提出了一种k-shot学习的微调方案,该方案是处理多幅支持图像的有效解决方案。
  • 我们开发了一个局部全局条件模块,它捕获查询图像和支持图像之间的局部和全局关系,以获得进一步的改进。

本文的部分结果发表在会议版[35]上。本文从几个重要方面扩展了我们早期的工作:

  • 我们扩展了提出的CRNet[35]算法与局部-全局条件模块,以有效地结合全局和局部信息查询图像掩码预测。
  • 我们在FSS-1000(表15)和MS COCO(表11,表12和表13)上进行了新的实验,以进一步评估我们的算法。
  • 我们在few-shot弱监督分割任务 上进行了一个新的实验。实验表明,我们的新算法在Pascal VOC和FSS-1000数据集上都达到了新的境界(表14)。
  • 我们进行了全面的消融研究和分析,如Sigmoid在交叉参考模块中的有效性分析(表6),支持掩码在局部条件模块中的有效性实验(表7),PFENet的微调方案有效性实验(表5),Pascal VOC的更多消融研究(表8)和MS COCO(表12),以调查我们网络的各个组成部分。

640.png

Fig. 2. 我们网络架构的pipeline。我们的网络主要由一个孪生编码器、一个交叉引用模块、一个条件模块和一个掩码细化模块组成。我们的网络采用对称设计。孪生编码器将查询和支持图像映射为特征表示。交叉引用模块挖掘两个图像中的共现特征以生成增强表示。条件模块将与类别相关的特征向量融合成特征映射,以强调目标类别。掩码优化模块将最后一次预测的置信度映射保存到缓存中,并循环优化预测的掩码。

相关文章
|
23天前
|
机器学习/深度学习 计算机视觉 知识图谱
【YOLOv8改进】MobileViT 更换主干网络: 轻量级、通用且适合移动设备的视觉变压器 (论文笔记+引入代码)
MobileViT是针对移动设备的轻量级视觉Transformer网络,结合CNN的局部特征、Transformer的全局注意力和ViT的表示学习。在ImageNet-1k上,它以600万参数实现78.4%的top-1准确率,超越MobileNetv3和DeiT。MobileViT不仅适用于图像分类,还在目标检测等任务中表现出色,且优化简单,代码已开源。YOLOv8引入了MobileViT块,整合卷积和Transformer结构,提升模型性能。更多详情可参考相关专栏和链接。
|
23天前
|
计算机视觉
【YOLOv8改进】 AFPN :渐进特征金字塔网络 (论文笔记+引入代码).md
YOLO目标检测专栏介绍了YOLO的有效改进和实战案例,包括AFPN——一种解决特征金字塔网络信息丢失问题的新方法。AFPN通过非相邻层直接融合和自适应空间融合处理多尺度特征,提高检测性能。此外,还展示了YOLOv8中引入的MPDIoU和ASFF模块的代码实现。详情可参考提供的专栏链接。
|
23天前
|
机器学习/深度学习 存储 测试技术
【YOLOv8改进】 YOLOv8 更换骨干网络之 GhostNet :通过低成本操作获得更多特征 (论文笔记+引入代码).md
YOLO目标检测专栏探讨了卷积神经网络的创新改进,如Ghost模块,它通过低成本运算生成更多特征图,降低资源消耗,适用于嵌入式设备。GhostNet利用Ghost模块实现轻量级架构,性能超越MobileNetV3。此外,文章还介绍了SegNeXt,一个高效卷积注意力网络,提升语义分割性能,参数少但效果优于EfficientNet-L2。专栏提供YOLO相关基础解析、改进方法和实战案例。
|
30天前
|
机器学习/深度学习 监控 自动驾驶
【传知代码】从零开始搭建图像去雾神经网络-论文复现
本文介绍了基于集成学习的双分支非均匀去雾神经网络的复现,该网络由迁移学习子网和数据拟合子网组成,分别处理全局表示和数据拟合。网络使用Res2Net作为编码器,并结合通道和像素注意力模块。代码可在提供的链接下载。网络在交通监控、自动驾驶、航海和目标跟踪等领域有广泛应用,通过提升图像质量来提高系统性能。实验在O-Haze、I-Haze和NH-Haze数据集上进行,展示了网络在去除雾霾方面的效果,尽管存在细节模糊和色彩饱和度低的问题。
|
23天前
|
存储 安全 网络安全
云计算与网络安全:云服务、网络安全和信息安全的交叉领域
【5月更文挑战第31天】随着云计算技术的飞速发展,其安全性问题也日益凸显。本文将探讨云计算与网络安全的关系,包括云服务的安全性、网络安全的挑战以及信息安全的重要性。我们将深入分析云计算环境下的安全威胁,并提出相应的防护策略。通过本文,读者将更好地理解云计算与网络安全之间的紧密联系,并掌握保护云服务安全的关键技术和方法。
|
23天前
|
机器学习/深度学习 数据可视化 计算机视觉
【YOLOv8改进】MCA:用于图像识别的深度卷积神经网络中的多维协作注意力 (论文笔记+引入代码)
YOLO目标检测专栏介绍了YOLO的创新改进和实战案例,包括多维协作注意力(MCA)机制,它通过三分支架构同时处理通道、高度和宽度注意力,提高CNN性能。MCA设计了自适应组合和门控机制,增强特征表示,且保持轻量化。该模块适用于各种CNN,实验证明其在图像识别任务上的优越性。此外,文章还展示了如何在YOLOv8中引入MCA层的代码实现和相关任务配置。
|
23天前
|
机器学习/深度学习 计算机视觉
【YOLOv8改进】 YOLOv8 更换骨干网络之GhostNetV2 长距离注意力机制增强廉价操作,构建更强端侧轻量型骨干 (论文笔记+引入代码)
该专栏聚焦YOLO目标检测的创新改进与实战,介绍了轻量级CNNs和注意力机制在移动设备上的应用。文章提出了一种名为GhostNetV2的新架构,结合了硬件友好的DFC注意力机制,强化了特征表达能力和全局信息捕获,同时保持低计算成本和高效推理。GhostNetV2在ImageNet上以167M FLOPs达到75.3%的top-1准确率,优于同类模型。创新点包括DFC注意力、模型结构优化和效率提升。源代码可在GitHub和MindSpore平台上找到。此外,还提到了YOLOv8的相关实现和任务配置。
|
23天前
|
编解码 计算机视觉 网络架构
【YOLOv8改进】BiFPN:加权双向特征金字塔网络 (论文笔记+引入代码)
该专栏深入研究了YOLO目标检测的神经网络架构优化,提出了加权双向特征金字塔网络(BiFPN)和复合缩放方法,以提升模型效率。BiFPN通过双向跨尺度连接和加权融合增强信息传递,同时具有自适应的网络拓扑结构。结合EfficientNet,构建了EfficientDet系列检测器,在效率和准确性上超越先前技术。此外,介绍了YOLOv8如何引入MPDIoU并应用BiFPN进行可学习权重的特征融合。更多详情可参考提供的专栏链接。
|
1月前
|
消息中间件 Java Linux
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
|
16天前
|
网络协议 算法 Linux
【嵌入式软件工程师面经】Linux网络编程Socket
【嵌入式软件工程师面经】Linux网络编程Socket
33 1

热门文章

最新文章