CVPR 24:ETH Zurich等团队:重新定义小样本3D分割任务,新基准开启广阔提升潜力!

简介: 【7月更文挑战第1天】ETH Zurich团队提出了重新定义小样本3D点云分割任务,聚焦于前景泄漏和稀疏点分布问题。他们提出COSeg方法,利用类特定多原型相关性(CMC)和超相关性增强(HCA),以解决现有方法的局限。此外,通过基础原型校准(BPC)改善模型对基础类的敏感性。实验显示COSeg在性能上有显著提升,但其泛化能力和计算需求仍待优化,且遮挡和噪声等挑战仍有待解决。[论文链接](https://arxiv.org/abs/2403.00592)

在计算机视觉领域,3D点云的语义分割是近年来备受关注的研究方向之一。然而,由于数据集规模和标注成本的限制,小样本3D点云语义分割(FS-PCS)面临着诸多挑战。为了填补这一研究空白,ETH Zurich等团队在CVPR 2024上提交了一篇论文,对FS-PCS进行了重新思考和定义。

该研究的重点是解决当前FS-PCS方法中存在的两个关键问题:前景泄漏和稀疏点分布。前景泄漏问题源于非均匀点采样,使得模型能够区分前景和背景的密度差异,从而更容易进行分割。然而,这种方式可能导致模型过于依赖这种差异,从而在真实世界的应用中表现不佳。

另一方面,稀疏点分布问题是由于仅采样2,048个点而导致的。这种限制使得模型无法获取足够的语义信息,从而在分割任务中产生偏差。为了解决这些问题,研究人员提出了一种标准化的FS-PCS设置,并基于此构建了新的基准。

与以往主要通过优化支持特征来增强原型的方法不同,该研究提出了一种基于相关性优化的方法,称为相关性优化分割(COSeg)。具体而言,COSeg通过计算每个查询点与类别原型之间的类特定多原型相关性(CMC)来表征其相关性。然后,通过引入超相关性增强(HCA)模块来增强CMC。

此外,为了解决小样本训练导致的模型对基础类的敏感性问题,研究人员还提出了在训练过程中学习非参数原型的方法。这些学习到的基础原型被用于通过基础原型校准(BPC)模块对背景类的相关性进行校准。

在对多个流行数据集的实验中,COSeg方法被证明在性能上优于现有方法。这一结果表明,通过重新定义FS-PCS任务并提出新的解决方案,研究人员为该领域带来了显著的提升潜力。

然而,尽管COSeg在实验中表现出色,但仍然存在一些潜在的问题和限制。首先,相关性优化的方法可能对数据集的依赖性较强,因此在其他领域或任务中的泛化能力可能受到限制。其次,学习非参数原型的方法可能需要更多的计算资源和时间,这可能会限制其在实际应用中的可行性。

此外,尽管COSeg解决了前景泄漏和稀疏点分布等问题,但仍然存在其他挑战,如遮挡、噪声和类内变化等。这些问题可能需要进一步的研究和探索来解决。

论文链接: https://arxiv.org/abs/2403.00592

目录
相关文章
|
7月前
|
机器学习/深度学习 存储 计算机视觉
北京大学提出 PTQ4ViT | 双均匀量化+Hessian引导度量,推进Transformer模型落地
北京大学提出 PTQ4ViT | 双均匀量化+Hessian引导度量,推进Transformer模型落地
169 1
|
25天前
|
机器学习/深度学习
NeurIPS 2024:标签噪声下图神经网络有了首个综合基准库,还开源
NoisyGL是首个针对标签噪声下图神经网络(GLN)的综合基准库,由浙江大学和阿里巴巴集团的研究人员开发。该基准库旨在解决现有GLN研究中因数据集选择、划分及预处理技术差异导致的缺乏统一标准问题,提供了一个公平、用户友好的平台,支持多维分析,有助于深入理解GLN方法在处理标签噪声时的表现。通过17种代表性方法在8个常用数据集上的广泛实验,NoisyGL揭示了多个关键发现,推动了GLN领域的进步。尽管如此,NoisyGL目前主要适用于同质图,对异质图的支持有限。
38 7
|
4月前
|
机器学习/深度学习 vr&ar
Sora视频重建与创新路线问题之Perceiver AR 自回归生成中的问题要如何解决
Sora视频重建与创新路线问题之Perceiver AR 自回归生成中的问题要如何解决
|
4月前
|
机器学习/深度学习 vr&ar
Sora视频重建与创新路线问题之Perceiver AR模型模态无关的自回归生成如何处理
Sora视频重建与创新路线问题之Perceiver AR模型模态无关的自回归生成如何处理
|
6月前
|
机器学习/深度学习 JSON 测试技术
CNN依旧能战:nnU-Net团队新研究揭示医学图像分割的验证误区,设定先进的验证标准与基线模型
在3D医学图像分割领域,尽管出现了多种新架构和方法,但大多未能超越2018年nnU-Net基准。研究发现,许多新方法的优越性未经严格验证,揭示了验证方法的不严谨性。作者通过系统基准测试评估了CNN、Transformer和Mamba等方法,强调了配置和硬件资源的重要性,并更新了nnU-Net基线以适应不同条件。论文呼吁加强科学验证,以确保真实性能提升。通过nnU-Net的变体和新方法的比较,显示经典CNN方法在某些情况下仍优于理论上的先进方法。研究提供了新的标准化基线模型,以促进更严谨的性能评估。
175 0
|
7月前
|
机器学习/深度学习 存储 数据可视化
【AAAI2024】M2SD:通过特征空间预构建策略重塑小样本类增量学习
小样本类增量学习代表了机器学习领域中一个高度挑战性的议题,其核心目标在于能够在仅有限的数据支持下识别新类别,同时保留对已学习类别的认知,而无须重新训练整个模型。这一目标在模型需适应新类别的同时使用有限训练数据的情况下尤为艰巨。针对上述挑战,我们提出了一种创新性策略,称为多重混合自蒸馏。旨在为类增量学习阶段准备一个具有高度可扩展性和包容性的特征空间。
|
7月前
|
自然语言处理 安全 算法
23REPEAT方法:软工顶会ICSE ‘23 大模型在代码智能领域持续学习 代表性样本重放(选择信息丰富且多样化的示例) + 基于可塑权重巩固EWC的自适应参数正则化 【网安AIGC专题11.22】
23REPEAT方法:软工顶会ICSE ‘23 大模型在代码智能领域持续学习 代表性样本重放(选择信息丰富且多样化的示例) + 基于可塑权重巩固EWC的自适应参数正则化 【网安AIGC专题11.22】
164 0
23REPEAT方法:软工顶会ICSE ‘23 大模型在代码智能领域持续学习 代表性样本重放(选择信息丰富且多样化的示例) + 基于可塑权重巩固EWC的自适应参数正则化 【网安AIGC专题11.22】
|
7月前
|
机器学习/深度学习 人工智能 算法
基于AidLux的工业视觉少样本缺陷检测实战应用---深度学习分割模型UNET的实践部署
  工业视觉在生产和制造中扮演着关键角色,而缺陷检测则是确保产品质量和生产效率的重要环节。工业视觉的前景与发展在于其在生产制造领域的关键作用,尤其是在少样本缺陷检测方面,借助AidLux技术和深度学习分割模型UNET的实践应用,深度学习分割模型UNET的实践部署变得至关重要。
181 1
|
人工智能 数据可视化 人机交互
一次性分割一切,比SAM更强,华人团队的通用分割模型SEEM来了
一次性分割一切,比SAM更强,华人团队的通用分割模型SEEM来了
269 0
|
机器学习/深度学习 编解码 计算机视觉
ICLR2022 ViDT | 检测超越YOLOS,实例分割超越SOLOv2,同时达到实时!!!
ICLR2022 ViDT | 检测超越YOLOS,实例分割超越SOLOv2,同时达到实时!!!
430 0
下一篇
DataWorks