导读
弱监督与半监督语义分割(Weakly and Semi-Supervised Semantic Segmentation, WSSS)旨在利用图像级标签、稀疏点或基础模型先验替代高昂的像素级标注,其核心价值在于缓解标注成本与密集预测需求之间的张力。早期研究以类激活图(Class Activation Map, CAM)为主线,通过反向传播生成空间热图,思路简洁却受制于“欠激活”导致的物体覆盖不全。当视觉Transformer(Vision Transformer, ViT)引入全局注意力后,背景“过激活”成为新瓶颈,促使研究转向频率域分析与对比学习以抑制噪声。随着分割一切模型(Segment Anything Model, SAM)与视觉-语言模型(CLIP)的介入,领域范式从“人工设计CAM细化”转向“基础模型先验融合”,用强大的几何与语义先验换取零样本或低数据场景下的鲁棒性。各路线在计算成本、先验强度与域适应性之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何度量到多模态先验的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
弱监督语义分割的兴起源于像素级标注的高昂成本与时间消耗,其核心目标是在缺乏密集标签的情况下实现准确的像素级预测。早期研究主要依赖类激活图(CAM)生成伪标签,但受限于CAM仅激活最具判别性区域导致的“欠激活”问题,领域长期聚焦于CAM的精细化与后处理。这一阶段的问题定义相对单一:如何在图像级标签约束下,将稀疏的判别性区域扩展为完整的物体掩码。随着Vision Transformer(ViT)的引入,全局注意力机制缓解了局部感受野限制,但带来了背景“过激活”新挑战,问题定义随之演变为“激活纯净度与背景噪声抑制”。2023-2024年,视觉-语言模型(如CLIP)的融合成为新范式,通过跨模态对齐增强语义理解,核心矛盾转变为如何利用文本先验弥补视觉特征的语义歧义。2025-2026年,研究重心进一步向多模态融合(深度、3D重建)、合成数据生成及半监督学习中的梯度冲突平衡转移,基础模型(如SAM)的介入使得无需训练的零样本/少样本分割成为可能。
从形式化角度看,弱监督语义分割通常定义为:给定训练集 $\mathcal{D} = {(I_i, yi)}{i=1}^{N}$,其中 $I_i$ 为图像,$y_i$ 为图像级标签,目标是学习映射 $f: I \rightarrow \hat{Y}$,使得 $\hat{Y}$ 尽可能接近真实的像素级标签 $Y$。在少样本场景下,问题进一步约束为 $K$-shot $N$-way 设置,即每个类别仅提供 $K$ 张标注图像。子问题之间存在强依赖关系:CAM生成质量是基础,若初始伪标签噪声大,后续的亲和性传播或半监督一致性正则化会放大错误;基础模型先验的引入部分绕开了CAM生成的依赖,但引入了新的模态对齐子问题。这种依赖结构决定了方法设计的层级性:底层解决定位,中层解决细化,顶层解决泛化。
2016-2018年是奠基期,CAM(conf_9083fcfc3985)与Grad-CAM(arxiv_2509.12496)确立了基础范式,AdvCAM(conf_5f6da4d6dc47)通过对抗擦除策略迭代优化CAM,迫使网络关注对象的所有判别性区域,显著改善了覆盖不全问题。这一时期的方法假设CNN的局部感受野足以捕捉物体特征,核心约束是CAM欠激活。2020-2022年,随着ViT的引入,MCTformer(conf_9083fcfc3985)通过多类令牌机制生成更密集的类特定预测,解决了单一类令牌在ViT中定位能力不足的问题。与此同时,SAM(arxiv_2604.11170)与CLIP-ES(arxiv_2512.01701)的出现标志着基础模型先验的引入,问题定义从“覆盖不全”转向“跨模态语义对齐”。2023-2025年,研究进入细化与融合阶段,SFC(conf_5f6da4d6dc47)通过对比学习抑制背景过激活,POT(arxiv_2509.12496)利用最优传输解决特征与原型匹配中的歧义。2025-2026年,ModuSeg(arxiv_2604.07021)提出免训练框架,解耦对象发现与语义检索,展示了基础模型组合在低数据场景下的潜力;DEAL(arxiv_2509.17702)与Rewis3d(arxiv_2603.06374)则引入深度边缘与3D重建约束,解决细粒度边界对齐问题。当前领域处于从“依赖人工设计的CAM细化”向“利用基础模型先验与多模态几何约束”转型的关键阶段。
如果用一个核心问题概括该领域,那便是:如何在缺乏像素级边界约束的弱监督信号下,通过引入外部先验(几何、语义、时序)或优化机制,重建像素级语义一致性并抑制噪声传播。
2. 方法体系
2016:CAM——确立弱监督语义分割基础范式
2017:Grad-CAM——利用梯度信息生成更精细激活图
2019:AdvCAM——对抗性擦除策略优化CAM覆盖
2022:SAM——基础分割模型提供类无关边界先验
2022:MCTformer——ViT中多类令牌机制改善定位
2025:ModuSeg——免训练框架解耦对象发现与语义检索
2026:Unified Variational Framework——变分推断理论框架
这条时间线勾勒了该领域方法演进的代表性节点:从 2016 年的 CAM 奠定该领域方法基线,经 2017 年 Grad-CAM 的推进,到 2026 年的 Unified Variational Framework 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 CAM激活优化
CAM激活优化路线的核心在于改进类激活图的生成与细化,解决弱监督下前景激活不全、边界模糊及背景过激活问题。早期方法如AdvCAM通过对抗性擦除策略迭代优化CAM,迫使网络关注对象的所有判别性区域而非仅最显著部分,显著改善了CAM覆盖不全的问题,为后续基于CAM的细化策略提供了重要的对抗训练思路。随着ViT的引入,单一类令牌定位能力不足的问题凸显,MCTformer通过多类令牌机制生成更密集的类特定预测,提升了CAM在Transformer架构下的生成质量。近期方法进一步引入统计与几何约束:IG-CAM(Torabi et al., 2025, P2)提出实例引导类激活映射框架,核心创新在于引入影响函数(Influence Functions)作为统一机制,贯穿特征提取、激活映射及优化全过程。该方法通过估计单个训练样本对模型预测的影响,实现区域级重要性评估,使网络能够聚焦于高影响的训练样本与区域。与依赖均匀反向传播或启发式细化的传统方法不同,IG-CAM通过影响函数量化每个区域对分类决策的贡献,从而抑制低判别性区域的激活。其代价是引入影响函数计算带来的额外开销,且依赖训练集的代表性。OTPL(ICCV 2025, P26)则针对ViT中类令牌与补丁令牌之间的语义鸿沟,提出最优传输辅助代理学习框架。该方法利用最优传输(OT)计算传输计划,建立补丁令牌到类令牌的概率分布映射,并引入OT辅助的代理-补丁对比学习策略,对齐代理与高置信度补丁令牌,从而丰富代理对非判别性前景特征的捕获能力。其核心取舍在于依赖OT计算的复杂度,但通过Sinkhorn距离优化提升了效率。BRNF(ICCV 2025, P25)提出基于归一化流的偏差鲁棒方法,训练归一化流模型对全数据集的像素特征分布进行建模,通过映射复杂像素特征分布到简单分布,在线学习并识别高偏差区域,无需外部信息即可自我纠正。Frequency-Aware Affinity(CVPR 2026, P28)则利用ViT自注意力机制生成的注意力矩阵作为语义关系编码,通过傅里叶变换提取高频分量以捕获局部细节,并计算逆注意力矩阵以抑制背景噪声。VRAA-BER(Gu et al., 2026, P22)针对弱监督体积分割,利用时间一致性作为免费午餐,执行方差减少激活聚合(VRAA)与双向极值校正(BER),显著提升了医学影像弱监督分割的鲁棒性。这些方法共同构成了CAM细化的技术谱系,从对抗训练到统计建模,再到频率域与时序一致性,逐步解决了不同场景下的激活偏差问题。
2.2 基础模型赋能
基础模型赋能路线利用SAM、CLIP等基础模型作为先验或伪标签生成器,结合提示工程、特征检索或微调策略,以低成本实现高质量语义分割。SAM(arxiv_2604.11170)的出现彻底改变了分割领域的数据依赖模式,使得利用基础模型先验进行弱监督或零样本分割成为可能。SeSAM(Das et al., 2026, P17)提出利用SAM实例先验进行弱监督语义分割,首先使用弱类标签提示SAM生成初始实例掩码,然后通过采样策略改进分割质量,并选择最佳掩码粒度以平衡细节与完整性。核心创新在于将实例分割先验转化为语义分割监督,通过半监督学习整合SAM生成的实例先验。ModuSeg(He et al., 2026, P16)提出免训练(Training-Free)弱监督分割框架,解耦对象发现与语义检索。该方法利用图像级监督生成初始掩码,通过语义边界纯化减少特征混合,并构建原型向量。在推理阶段,利用冻结的类无关掩码提议器(如SAM2)提取几何提议,并结合自监督视觉模型(如DINOv2)进行语义匹配。核心创新在于无需反向传播,直接组合基础模型的几何与语义先验,通过图像级约束抑制幻觉类别。SSR(Bi et al., 2025, P10)针对CLIP-based弱监督分割中的模态差距与背景过激活问题,在语义层面通过跨模态原型对齐,利用对比学习在图像与文本原型间建立紧凑对齐,减少模态差距;在空间层面,引入超像素引导校正,通过噪声过滤机制抑制亲和力建模中的错误信息传播。Food-SAM(Sarafis et al., 2025, P4)利用Swin Transformer生成CAM,然后通过Grad-CAM计算热力图,利用CAM的最高激活点作为提示驱动SAM进行零样本分割,展示了SAM在特定领域弱监督分割中的可行性。SSeg(Borja et al., 2025, P5)提出主动稀疏点标签增强方法,结合SAM2精度与超像素覆盖,设计混合采样策略选择最具信息量的像素,并将点标签扩展为SAM2掩码以获取高质量边界。SAM-Aug(Hu et al., 2026, P12)利用SAM自动提取语义区域掩码作为几何先验,引入RegionSmoothLoss通过时间一致性约束,在SAM生成的区域内强制模型预测保持平滑。FungiTastic Baseline(Cavada et al., 2026, P19)利用SAM3的类无关分割能力,结合原型学习方法处理长尾分布与类间相似性,为细粒度低数据分割提供了实用基线。Semantic-Based Regularization(Colamonaco et al., 2026, P18)将弱监督分割视为基于语义的正则化问题,定义了一系列结构约束作为正则化项加入模型预测,不依赖任何标签即可约束模型输出。这些方法展示了基础模型组合在低数据场景下的巨大潜力,为无需训练的WSSS提供了新范式。
2.3 半监督学习机制
半监督学习机制研究如何利用少量标注与大量未标注数据,通过师生架构、伪标签选择、一致性正则化及梯度平衡策略,解决监督与无监督目标冲突。Mean Teacher(arxiv_2603.06374)引入教师-学生架构,通过指数移动平均更新教师模型参数,利用教师模型对未标注数据生成伪标签监督学生模型,成为后续一致性正则化与伪标签选择策略的标准框架。UniMatch(arxiv_2608.12773)提出弱到强一致性正则化策略,结合置信度阈值筛选伪标签,确立了现代半监督分割中伪标签质量控制的基本范式。POS(ICCV 2025, P27)提出基于梯度下降视角的冲突梯度平衡策略,分析随机批次采样下监督与无监督梯度的关系,发现两者存在负余弦相似度,导致优化方向冲突。核心创新在于提出动态权重分配机制,根据梯度范数与方向差异,自适应调整无监督损失的权重。CW-BASS v2(Tarubinga, 2026, P23)提出饱和度感知的伪标签选择机制,引入保持校准集,通过检测教师模型置信度的饱和现象,动态调整伪标签保留阈值,解决了基础模型教师下伪标签噪声被低估的问题。Diffusion-Driven AL(Kim et al., 2025, P7)提出基于扩散模型的两阶段主动学习策略,首先利用预训练扩散模型提取多尺度特征,确保样本表示多样性,随后利用不确定性估计细化选择,聚焦于决策边界附近的像素。Unsupervised Video Segmentation(Some and Namboodiri, 2026, P15)利用SAM2等基础模型对未标注或粗标注帧进行分割,生成伪标签,并结合时间一致性约束传播信息,显著降低了视频分割的标注成本。这些方法从静态阈值到动态梯度平衡,再到饱和度感知与主动学习,逐步解决了半监督学习中的噪声传播与优化冲突问题。
2.4 架构与损失创新
架构与损失创新路线针对弱监督特性设计专用解码器、注意力机制或损失函数,以增强模型对稀疏标签的鲁棒性及细节恢复能力。AffinityNet(arxiv_2511.19765)利用成对像素关系学习亲和力矩阵,通过迭代优化传播CAM信息以细化伪标签,突破了单纯依赖CAM局部特征的局限。SegFormer(arxiv_2511.19765)提出轻量级Transformer解码器,通过多尺度特征融合与高效注意力机制实现高分辨率语义分割,成为弱监督分割中平衡精度与计算成本的首选骨干网络之一。CrispFormer(Torabi et al., 2025, P9)在SegFormer解码器中集成边界分支、不确定性引导细化器及动态多尺度融合层,通过显式建模边界与不确定性,有效抑制了弱监督伪标签中的噪声。CPF-CTE(Fu et al., 2026, P13)在ViT骨干后引入CF-BiLSTM模块,通过双向LSTM建模空间连续性,精炼补丁嵌入并更新类令牌,提升类间判别性。OCNet(Wen et al., 2025, P1)提出对象级相关性网络,通过通用对象挖掘模块(GOMM)从查询图像中提取通用对象特征,然后利用相关性构建模块(CCM)建立支持目标对象与查询通用对象之间的对象级相关性,分离通用对象与背景。DEAL(Schmidt et al., 2025, P3)提出深度边缘对齐损失,从CAM与深度图中分别提取边缘,通过tanh激活函数计算对齐图,并聚合为损失函数,强制CAM边缘与真实物体边缘对齐。GLTR-CAPR(Choi and An, 2025, P8)在瓶颈层使用GLTR进行多尺度特征融合,并通过单一高分辨率交叉注意力注入锐利线索,引入CAPR机制仅对不确定性选择的像素进行稀疏更新。Contextrast++(Sung et al., 2026, P24)提出鲁棒多尺度上下文对比学习框架,引入边界感知负样本(BANE)采样策略,选择物体边界附近的特征嵌入作为难负样本,引导对比学习聚焦边界区域。这些方法通过显式建模边界、不确定性与多尺度融合,显著提升了弱监督分割的边界F-score与小对象召回率。
2.5 数据增强与生成
数据增强与生成路线探索通过合成数据生成、3D重建辅助或主动学习策略扩充训练集,解决数据稀缺及标注成本高昂问题。SynthSeg-Agents(Wu et al., 2025, P11)构建多智能体合成数据生成框架,利用LLM生成提示、VLM生成图像,并通过CLIP分配伪标签,实现了零真实图像依赖的WSSS训练。Rewis3d(Ernst et al., 2026, P14)利用视频序列重建3D点云,建立2D图像与3D点云的分割分支,并引入双向跨模态一致性(CMC)损失,强制2D与3D预测一致,增强空间连贯性。Coarse Annotation Segmentation(de Jong and Holenderski, 2025, P6)利用简单多边形生成的粗标注,通过超像素或深度特征亲和力传播标签,处理未标注像素,设计边界对齐策略提升粗标注下的边界精度。这些方法通过引入外部数据源或几何约束,有效缓解了弱监督信号固有的边界模糊与语义歧义问题。
2.6 增量与变分方法
增量与变分方法关注弱监督下的增量学习稳定性及基于变分推断的理论框架。SASA(Wang et al., 2026, P20)提出语义锚点与空间仲裁机制,通过刚性锚点与弹性残差令牌防止特征漂移,并利用空间仲裁解决新旧类冲突,为弱监督增量分割提供了稳定的特征保持策略。Unified Variational Framework(Chu et al., 2026, P21)提出基于Potts模型的统一变分框架,将弱监督分割建模为能量最小化问题,通过凸优化处理稀疏像素级监督,为深度学习方法提供了理论互补。这些方法从工程稳定性与理论解释两个维度,丰富了弱监督分割的方法体系。
| 路线 | 核心决策 | 增益 | 成本 | 代表方法 |
|---|---|---|---|---|
| CAM激活优化 | 引入统计/几何约束细化CAM | 提升覆盖完整性与纯净度 | 计算开销增加,依赖训练集代表性 | IG-CAM, OTPL, BRNF |
| 基础模型赋能 | 利用SAM/CLIP作为先验 | 零样本/少样本鲁棒性 | 依赖基础模型域泛化,推理开销大 | SeSAM, ModuSeg, SSR |
| 半监督学习机制 | 动态梯度平衡/饱和度感知 | 解决优化冲突,提升稳定性 | 额外梯度计算/校准集维护 | POS, CW-BASS v2 |
| 架构与损失创新 | 显式建模边界/不确定性 | 提升边界精度与小对象召回 | 额外分支/损失计算 | CrispFormer, DEAL, OCNet |
| 数据增强与生成 | 合成数据/3D重建 | 缓解数据稀缺,增强几何一致性 | 生成/重建计算成本高 | SynthSeg-Agents, Rewis3d |
| 增量与变分方法 | 语义锚点/变分能量 | 抑制遗忘,提供理论解释 | 仲裁/迭代求解开销 | SASA, Unified Variational Framework |
3. 关键共识、分歧与开放问题
3.1 领域共识
领域最核心的共识在于像素级标注的高昂成本是WSSS研究的核心驱动力,利用图像级标签等弱监督信号是降低标注负担的有效途径。这一共识在约29篇论文中得到共同支持,构成了领域存在的根本理由。与此相关的另一个共识是Class Activation Maps (CAMs) 是WSSS中生成初始定位线索的标准方法,但其固有的欠激活问题需要通过后续细化步骤解决。约25篇论文共同支持这一观点,表明CAM仍是当前方法体系的基础组件,尽管基础模型先验的引入部分绕开了CAM生成的依赖。
Vision Transformers (ViTs) 的全局注意力机制比CNN更能捕捉长距离依赖,有助于改善CAM的覆盖范围,但引入了背景过激活的新挑战,这一共识在约15篇论文中得到支持。基础模型(如SAM、CLIP)的引入显著提升了WSSS的性能,特别是在零样本或少样本场景下,提供了强大的几何或语义先验,约12篇论文共同支持这一观点。对比学习是增强特征判别力和解决弱监督噪声的有效手段,广泛应用于CAM细化和半监督一致性正则化中,约10篇论文共同支持。多模态信息(如深度图、3D重建)的融合能够弥补2D弱监督信号的不足,通过几何约束提升边界精度和语义一致性,约8篇论文共同支持。伪标签的质量直接决定WSSS的最终性能,因此开发鲁棒的伪标签生成与筛选机制(如置信度加权、不确定性估计)是研究重点,约10篇论文共同支持。半监督语义分割中,有监督与无监督损失之间的梯度冲突是一个普遍存在且需要专门机制(如动态加权)来解决的问题,约5篇论文共同支持。
3.2 观点分歧
基础模型先验与专用架构优化何者更具长期价值,是领域内最显著的分歧。观点A认为基础模型(SAM/CLIP)应作为核心,提供零样本能力,代表方法包括ModuSeg和SeSAM;观点B认为专用架构(如CrispFormer, IG-CAM)更可控,能针对弱监督特性优化,代表方法包括IG-CAM和CrispFormer。现有证据显示,基础模型在低数据/零样本场景下优势明显,ModuSeg免训练框架在低数据场景下有效,但依赖基础模型在目标域的泛化能力;专用架构在特定域(如医学)边界精度更高,CrispFormer在Boundary-F1指标上表现优异。分歧根源在于基础模型在垂直领域泛化能力未完全验证,专用架构计算效率更高但缺乏零样本能力,场景依赖性强。
半监督中监督与无监督损失的平衡策略是另一个关键分歧。观点A认为动态梯度平衡(如POS)更优,能自适应优化方向;观点B认为饱和度感知伪标签选择(如CW-BASS v2)更鲁棒,解决教师模型置信度饱和。POS在VOC上达到80.4 mIoU,CW-BASS v2达到87.4 mIoU,后者性能更高但依赖教师模型质量。分歧根源在于动态梯度平衡计算开销大,饱和度感知依赖校准集维护,两者解决不同层面的冲突(优化方向 vs. 伪标签质量),尚未统一。跨模态语义对齐中,原型对齐(如SSR)与最优传输(如OTPL)也存在分歧。SSR在VOC上达到82.3 mIoU,OTPL在ViT中生成更密集CAM。分歧根源在于原型对齐计算简单但可能忽略分布细节,OTPL更精确但计算复杂,模态间分布差异的建模方式尚无定论。
3.3 其他开放问题
最紧迫的工程问题集中在基础模型在垂直领域的适配与计算效率。基础模型在特定域(如医学、遥感)的泛化能力不足,需领域特定微调或提示工程,关键困难在于如何有效整合基础模型的零样本能力与弱监督信号的稀疏性。研究路径包括利用SAM生成实例先验进行伪标签细化,或结合CLIP进行跨模态对比学习以增强语义判别力。最根本的研究问题聚焦于如何从像素强度中解耦结构信息,解决自监督和弱监督分割中的结构错误(如合并或碎片化)。关键困难在于如何从像素强度中解耦出稳定的结构信息,研究路径包括利用深度估计提供结构先验,或设计可微分盒计数(DBC)模块和持续同伦损失(PHLoss)直接监督输出结构。此外,神经符号方法将领域专家知识转化为逻辑约束以指导弱监督学习,提升伪标签质量,但逻辑约束的设计依赖领域专业知识且计算开销较大,研究路径包括利用可微模糊逻辑统一弱标注和专家知识,或探索大语言模型作为领域知识来源以替代人工专家。
已知—争议—未知认知图谱显示:已知CAM欠激活需细化,ViT引入背景过激活,基础模型提升零样本性能;争议在于基础模型与专用架构的长期价值、梯度平衡策略的最优选择、跨模态对齐的建模方式;未知在于垂直领域泛化能力、结构信息解耦机制、神经符号方法的理论整合。发展趋势将向零样本、多模态及神经符号方向深化。
4. 总结与展望
弱监督与半监督语义分割的核心矛盾在于缺乏像素级边界约束的弱监督信号与像素级语义一致性需求之间的张力。从CAM精细化到基础模型先验融合,再到多模态几何约束,方法演进的主线是不断突破弱监督信号的边界模糊与语义歧义限制。核心瓶颈在于如何在低数据/零样本场景下实现鲁棒的像素级语义对齐,同时平衡计算成本与先验强度。
未来可能突破的方向包括:探索更强大的CAM生成机制与基础模型(如SAM、CLIP)的深度融合,以解决传统CAM在复杂场景下的过激活和边界模糊问题;研究自适应伪标签选择策略以应对基础模型教师的高置信度饱和现象,避免自适应阈值在强教师下反而引入噪声;开发显式学习结构复杂度特征的方法,以解决自监督和弱监督分割中的结构错误。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,系统评估基础模型先验与专用架构优化在极端低数据(<10%)且域差异大的场景下的泛化能力,以厘清当前分歧的实验边界。
以上为节选,完整内容见ArxivReview