在计算机视觉领域,3D点云的语义分割是近年来备受关注的研究方向之一。然而,由于数据集规模和标注成本的限制,小样本3D点云语义分割(FS-PCS)面临着诸多挑战。为了填补这一研究空白,ETH Zurich等团队在CVPR 2024上提交了一篇论文,对FS-PCS进行了重新思考和定义。
该研究的重点是解决当前FS-PCS方法中存在的两个关键问题:前景泄漏和稀疏点分布。前景泄漏问题源于非均匀点采样,使得模型能够区分前景和背景的密度差异,从而更容易进行分割。然而,这种方式可能导致模型过于依赖这种差异,从而在真实世界的应用中表现不佳。
另一方面,稀疏点分布问题是由于仅采样2,048个点而导致的。这种限制使得模型无法获取足够的语义信息,从而在分割任务中产生偏差。为了解决这些问题,研究人员提出了一种标准化的FS-PCS设置,并基于此构建了新的基准。
与以往主要通过优化支持特征来增强原型的方法不同,该研究提出了一种基于相关性优化的方法,称为相关性优化分割(COSeg)。具体而言,COSeg通过计算每个查询点与类别原型之间的类特定多原型相关性(CMC)来表征其相关性。然后,通过引入超相关性增强(HCA)模块来增强CMC。
此外,为了解决小样本训练导致的模型对基础类的敏感性问题,研究人员还提出了在训练过程中学习非参数原型的方法。这些学习到的基础原型被用于通过基础原型校准(BPC)模块对背景类的相关性进行校准。
在对多个流行数据集的实验中,COSeg方法被证明在性能上优于现有方法。这一结果表明,通过重新定义FS-PCS任务并提出新的解决方案,研究人员为该领域带来了显著的提升潜力。
然而,尽管COSeg在实验中表现出色,但仍然存在一些潜在的问题和限制。首先,相关性优化的方法可能对数据集的依赖性较强,因此在其他领域或任务中的泛化能力可能受到限制。其次,学习非参数原型的方法可能需要更多的计算资源和时间,这可能会限制其在实际应用中的可行性。
此外,尽管COSeg解决了前景泄漏和稀疏点分布等问题,但仍然存在其他挑战,如遮挡、噪声和类内变化等。这些问题可能需要进一步的研究和探索来解决。