导读
零样本学习(Zero-Shot Learning, ZSL)旨在利用语义信息桥接已见与未见类别,其核心价值在于缓解数据标注成本高企与新类别识别需求之间的张力。早期研究依赖静态语义嵌入对齐视觉特征,思路简洁却受制于表示质量与模态鸿沟。当组合零样本学习(Compositional Zero-Shot Learning, CZSL)兴起后,问题从单一类别识别细化为属性与对象基础概念的解耦重组,暴露出静态嵌入无法处理上下文依赖性的缺陷。随着视觉语言模型(Vision-Language Models, VLMs)如 CLIP 的引入,范式从监督学习转向参数高效微调,用更强的多模态先验换取跨域鲁棒性。各路线在解耦精度、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从语义桥接到组合推理的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
零样本学习最初旨在解决数据标注成本高及新类别识别难题,其核心假设是静态语义嵌入能有效对齐视觉特征,从而将已见类别的知识迁移到未见类别。这一假设在早期基于属性或词向量的嵌入方法中得到了验证,但随着任务复杂度的提升,静态表示的局限性逐渐显现。2017 年,Misra 等人首次形式化组合零样本学习任务,将问题从“识别未见类”细化为“解耦并重组基础概念”,标志着领域从单一类别识别向组合泛化的范式转移。这一转变揭示了静态嵌入无法处理上下文依赖性的根本缺陷,例如“湿”在猫和路上的视觉表现差异巨大,单一全局语义表示难以有效解耦。
问题定义的演化遵循着从封闭到开放、从静态到动态的逻辑。在 2017-2020 年间,研究重心集中在如何通过代数约束(如逆一致性、交换性)稳定组合映射,但受限于手工设计的约束和浅层视觉特征,难以处理复杂上下文。2021 年,CLIP 的提出引入了大规模图文对比学习,范式从传统的监督学习转向基于预训练模型的参数高效微调,问题重心从“特征生成/对齐”转向“如何利用预训练多模态表示进行细粒度解耦”。这一转折不仅提升了零样本性能,更改变了问题求解的逻辑:从生成或映射未见类特征,转向通过提示微调(Prompt Tuning)适配 VLM 骨干网络。
子问题之间存在严格的依赖关系。基础概念解耦是核心前置问题,若不解决属性与对象的纠缠,组合泛化必然失败;开放世界与持续学习依赖于解耦机制的稳定性,否则新组合引入会导致灾难性遗忘。因此,领域当前的核心挑战不再是“能否识别”,而是“为何识别错误”,具体表现为基础概念多义性、组合泛化中的捷径学习以及持续学习中的灾难性遗忘。这些挑战共同构成了从“封闭世界”向“开放世界”及“持续学习”演进的关键阶段,研究重心已从单纯的分类准确率转向鲁棒性、可解释性及在真实复杂场景中的泛化能力。
如果用一个核心问题概括该领域,那便是:如何在缺乏目标组合监督信号的情况下,通过解耦视觉特征中纠缠的基础概念,实现对新组合的鲁棒泛化与逻辑一致推理。
2. 方法体系
2017:CZSL-Founding——首次形式化组合零样本学习任务,奠定领域基础框架
2018:Attribute-Transformation——将属性建模为对象表示的变换,引入代数约束
2021:CLIP——通过大规模图文对比学习实现强大零样本识别能力,成为核心骨干
2022:CSP——利用 CLIP 可训练提示词分别建模属性和对象,开创 VLM 适配范式
2023:DFSP——采用分解融合模块增强细粒度交互,解决属性与对象表示纠缠
2025:TOMCAT——提出测试时综合知识积累方法,动态更新原型提升识别精度
2026:DIFFCZSL——基于扩散表示正则化,利用扩散模型增强组合语义丰富性
2026:Progressive Reasoning——引入思维链机制,通过多步推理提升组合识别准确性
这条时间线勾勒了该领域方法演进的代表性节点:从 2017 年的 CZSL-Founding 奠定该领域方法基线,经 2018 年 Attribute-Transformation 的推进,到 2026 年的 ZeroDiff++ 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 组合零样本方法
组合零样本方法的核心在于解耦属性与对象表示,以提升对未见组合的泛化能力。早期工作如 AttOp(Purushwalkam et al., 2019)通过编码属性诱导的对象变换并施加逆一致性约束,奠定了组合表示的鲁棒性基础,但受限于手工设计的约束。随着 VLMs 的引入,CSP(Nayak et al., 2022)开创了基于 CLIP 提示微调的新范式,通过可训练提示词分别建模属性和对象,显著提升了零样本性能,但暴露出属性与对象表示纠缠的问题。DFSP(He et al., 2023)针对这一失败案例,采用分解融合模块增强细粒度交互,解决了早期 VLM 方法中的纠缠问题,但计算复杂度增加。
近年来,研究进一步转向上下文感知解耦与测试时适应。CAMS(Yang et al., 2025)提出门控交叉注意力与多空间解耦框架,捕获细粒度语义特征,有效处理属性与对象的多义性问题,代价是引入了额外的注意力计算开销。DeFA(Zhang et al., 2025)通过合成高保真组合特征并施加解耦与重建约束,缓解属性与对象间的语义偏差,但增加了模型复杂度。TOMCAT(Yan and Feng, 2025)引入测试时综合知识积累机制,动态更新原型和推理引擎,无需重新训练即可适应新数据,显著提升了 AUC 和 HM 指标,但增加了测试时的计算开销。WARM-CAT(Yan et al., 2026)在 TOMCAT 基础上引入预热策略,减少了测试时的收敛时间,但增加了预热阶段的计算开销。
此外,DIFFCZSL(Tian et al., 2026)利用扩散模型作为互补监督信号,增强组合语义的丰富性,捕获对比学习难以建模的细粒度组合关系,但训练复杂度大幅增加。Progressive Reasoning(Chen et al., 2026)引入思维链机制,通过多步推理和双向修正提升组合识别的准确性,增强了可解释性,但推理时间显著增加。Decoupling Primitive with Experts(ICLR 2026)利用专家混合架构解决原始多义性问题,通过路由机制将不同语义内容的 token 分配给不同的专家网络,有效处理多义性,但增加了模型参数量和计算开销。这些方法在解耦精度、适应效率与计算成本之间做出了不同取舍,形成了当前多元并存的方法格局。
2.2 通用零样本学习
通用零样本学习聚焦于传统 ZSL 任务,通过语义蒸馏、属性选择、生成式特征合成及鲁棒对齐等技术,解决未见类别识别中的语义纠缠与分布偏移问题。MSDN++(Chen et al., 2026)提出互因果语义蒸馏网络,通过双向注意力子网和语义蒸馏损失增强 ZSL 的鲁棒性,有效处理语义纠缠问题,但增加了模型复杂度。RFS(Herrera-Aranda et al., 2025)提出语义归纳属性选择方法,通过嵌入特征选择和包装策略优化 ZSL 的语义表示,自动筛选冗余属性,提升模型可解释性,但增加了特征选择阶段的计算开销。
Attribute-Centric Representations(Chen et al., 2025)提出属性中心表示方法,通过通用实践者路由器和属性专家网络增强细粒度 ZSL,利用属性专家网络分别处理不同属性,提升细粒度类别的区分能力,但增加了模型复杂度和推理时间。ZeroDiff++(Ye et al., 2026)提出基于扩散模型的生成式 ZSL 方法,通过识别和纠正错误的视觉-语义相关性,提升未见类别的特征合成质量,有效缓解分布偏移问题,但训练复杂度大幅增加。DVSA(Li et al., 2026)提出动态视觉-语义对齐方法,通过自适应交叉熵和属性互信息损失处理模糊标签,有效处理标签噪声和模糊性,但增加了损失函数的复杂度。
CAST(Heyden et al., 2026)提出闭式解析语义迁移方法,利用神经坍缩理论实现零样本分类器扩展,无需样本图像或迭代优化即可扩展分类器,但依赖于神经坍缩假设的成立。ADM(Pu et al., 2026)提出属性分布建模与语义-视觉对齐方法,通过变分编码器和属性位置网络增强生成式 ZSL,有效处理属性分布的不确定性,但增加了模型复杂度。RLVC(Hou et al., 2026)提出基于结果奖励强化学习的生成式 ZSL 方法,利用视觉线索增强特征合成,有效缓解任务无关特征问题,但训练复杂度大幅增加。这些方法在语义对齐、特征合成与鲁棒性之间做出了不同取舍,为 ZSL 的细粒度理解与鲁棒性提供了新范式。
2.3 零样本场景理解
零样本场景理解探讨在真实复杂环境中利用视觉语言模型进行零样本场景推理、动作理解及异常检测,强调上下文感知与跨模态语义对齐的应用。Vision-Language Integration(Rajiv and Vidyavathi, 2025)提出视觉语言集成方法,利用 VLMs 增强零样本场景理解,通过语义关联实现对新场景的泛化,有效处理复杂场景中的新对象和模糊交互,但增加了模型复杂度和推理时间。Dynamic Context-Aware Scene Reasoning(Rajiv and Vidyavathi, 2025)提出动态上下文感知场景推理方法,利用图神经网络捕获场景中的上下文信息,提升模型对复杂场景的理解能力,但增加了图构建和 GNN 计算的开销。
CoEvoAD(Zhu et al., 2026)提出协同进化提示优化方法,通过跨类别迁移和角色分离的协同进化策略提升零样本异常检测,有效提升提示词的可解释性和可扩展性,但增加了进化算法的计算开销。InsAT(ACL 2026)提出实例感知语义对齐与迁移方法,利用人-物关键点信息增强零样本动作理解,有效处理动作识别中的上下文线索缺失问题,但增加了关键点检测和对象检测的计算开销。VeriCam(Wojcik et al., 2026)提出验证基线方法,利用局部实例关系处理未知数据分类,有效处理未知类别的发现和分类问题,但增加了特征提取和图构建的计算开销。这些方法在上下文感知、跨模态对齐与计算效率之间做出了不同取舍,为真实复杂场景中的零样本理解提供了新框架。
2.4 零样本目标计数
零样本目标计数研究基于文本提示或视觉参考的零样本目标计数方法,通过示例选择、空间适应及合成数据增强,解决密集场景下的实例分割与计数难题。CountZES(Siddiqui and Khan, 2025)提出零样本示例选择框架,通过检测锚定、密度引导和特征共识三个阶段发现多样化示例集,有效处理密集场景中的语义噪声和多实例提案问题,但增加了示例选择的计算开销。QICA(Zhang et al., 2026)提出增强定量和空间感知的方法,通过多级数量对齐损失和空间感知解码器提升零样本目标计数,有效处理数量估计和空间定位的双重挑战,但增加了提示生成和解码的计算开销。
GPT-4o/GPT-5 Counting(Füzesséry et al., 2025)提出基于大语言模型的零样本计数方法,利用 GPT-4o 和 GPT-5 的计数能力评估不同提示策略,无需训练即可实现零样本计数,但依赖于 LLM 的推理能力和提示词设计。AdaCount(Siddiqui and Khan, 2026)提出无训练相似度引导的空间和特征适应方法,通过残差门控策略驱动相似度图提升零样本计数,有效处理密集场景中的实例分割难题,但增加了相似度计算和门控网络的计算开销。RECOUNT(D'Alessandro et al., 2026)提出参考引导计数方法,利用合成视觉示例和扩散模型生成多样化场景解决开放世界部署中的身份验证问题,有效解决现有计数器难以验证对象身份的问题,但增加了扩散模型生成的计算开销。这些方法在示例选择、空间适应与合成数据增强之间做出了不同取舍,为密集场景下的零样本计数提供了新工具。
2.5 跨任务与多领域应用
跨任务与多领域应用展示了零样本学习在动作识别、异常检测、计数等真实复杂场景中的泛化能力。InsAT(ACL 2026)在关键点 ZSL 任务中引入实例感知机制,通过人-物交互信息增强动作识别,解决了上下文线索缺失问题。CoEvoAD(Zhu et al., 2026)在 ZSAD 任务中引入协同进化机制,利用源类别的性能作为选择信号,提升了提示词的可解释性和可扩展性。CountZES(Siddiqui and Khan, 2025)在 ZOC 任务中引入示例选择机制,利用文本提示引导示例发现,提升了计数精度。这些应用表明,零样本学习已从单纯的分类任务扩展到更广泛的视觉理解任务,强调上下文感知与跨模态语义对齐的重要性。
3. 关键共识、分歧与开放问题
3.1 领域共识
VLMs 如 CLIP 已成为 ZSL/CZSL 的主流骨干网络,参数高效微调优于从头训练,这一共识在多个基准上被反复验证:TOMCAT 的 48.31 AUC 与 Attribute-Centric Representations 的 77.2 HM 均大幅超越早期方法。解耦属性与对象表示是提升 CZSL 泛化性能的关键,优于端到端联合嵌入方法,CAMS 和 DeFA 在 MIT-States 上的表现证实了这一点。封闭世界设置下的性能提升往往以牺牲未见类别性能为代价,广义 ZSL 的调和平均数是更公平的评估指标,Attribute-Centric Representations 在 CUB、AWA2 和 SUN 上的 HM 指标均显著高于 seen 准确率,体现了平衡优化。
与此相关的另一个共识是生成式方法通过合成未见类别特征,能有效缓解嵌入方法中偏向已见类别的问题,ZeroDiff++ 和 DIFFCZSL 在细粒度数据集上的表现支持了这一观点。组合零样本学习的核心挑战在于基础概念的上下文依赖性,静态语义嵌入无法捕捉动态变化,Decoupling Primitive with Experts 的 MoE 架构正是针对这一挑战提出的解决方案。这些共识共同构成了当前领域的方法基础,但其在开放世界和持续学习场景下的适用性仍需进一步验证。
3.2 观点分歧
解耦粒度是领域内的核心分歧之一,全局解耦与上下文感知解耦(MoE)各有优劣。CAMS 和 DeFA 通过门控注意力或去偏特征增强,在单一语义空间中分离属性与对象,计算效率高;而 Decoupling Primitive with Experts 通过 MoE 架构,将不同语义内容的 token 分配给不同的专家,处理多义性。现有证据偏向 MoE 在处理多义性上更优,但计算成本高,且需在大规模数据集上验证其泛化能力。这一分歧的背后,是另一个更根本的争论:生成式与判别式路线的选择。判别式方法如 CAMS 和 TOMCAT 直接计算视觉-语义相似度,效率高,适合实时应用;生成式方法如 ZeroDiff++ 和 DIFFCZSL 通过合成未见类别特征或扩散正则化,缓解分布偏移,提升细粒度识别。在 CUB 等细粒度数据集上,生成式方法 HM 指标略优;但在 C-GQA 等大规模数据集上,判别式方法 AUC 更高,证据强度较弱,因数据集特性差异大。
测试时适应的必要性也是重要分歧,静态原型与动态更新的权衡尚未定论。TOMCAT 和 WARM-CAT 证明测试时适应有效,但增加了部署成本,是否值得权衡取决于应用场景。组合推理的逻辑一致性方面,代数约束与数据驱动方法各有千秋,代数约束在小规模数据集上有效,但在大规模数据集上因约束过强导致性能下降;数据驱动方法在 C-GQA 上表现更好,但可解释性弱。这些分歧反映了领域在解耦精度、推理逻辑与开放世界鲁棒性之间的持续探索。
3.3 其他开放问题
最紧迫的工程问题是测试时适应的计算开销优化,TOMCAT 和 WARM-CAT 虽然提升了性能,但增加了测试时的计算延迟,在边缘设备或实时应用中是否可接受,缺乏统一的能耗/延迟基准。最根本的研究问题是开放世界评测中的不可行组合干扰,当前模型在开放世界设置下容易受不可行组合影响,需开发无需显式可行性计算或外部知识库的鲁棒推理机制。持续组合零样本学习中的灾难性遗忘也是关键挑战,需开发共享提示库、伪重放框架或动态原型更新机制,在保持原始语表示稳定的同时,高效吸收新组合知识。
已知的是 VLM 骨干与解耦机制的有效性,争议的是解耦粒度与生成/判别式路线的选择,未知的是开放世界鲁棒性与持续学习稳定性。未来趋势将结合 VLM 骨干、上下文感知解耦、测试时适应及推理机制,核心问题是如何在开放世界和持续学习场景下,保持基础概念解耦的稳定性并提升组合推理的逻辑一致性。
4. 总结与展望
零样本与组合零样本学习经历了从语义桥接到组合推理的范式重构,核心矛盾在于静态语义嵌入的局限性 vs. 视觉特征的上下文依赖性。尝试过的路线包括显式解耦、VLM 提示微调、测试时适应与推理机制,核心瓶颈是基础概念多义性、捷径学习及灾难性遗忘。这些挑战共同构成了从“封闭世界”向“开放世界”及“持续学习”演进的关键阶段,研究重心已从单纯的分类准确率转向鲁棒性、可解释性及在真实复杂场景中的泛化能力。
未来可能突破的方向包括:基于推理的组合生成范式,将 CZSL 视为多步推理问题,通过渐进式验证和修正减少误差累积,Progressive Reasoning 和 GPT-4o/GPT-5 Counting 共同指向了这一方向;持续组合零样本学习,解决模型在学习新组合时遗忘旧组合的问题,P10 和 P15 共同指向了共享提示库与动态原型更新机制;开放世界鲁棒推理,开发无需显式可行性计算的鲁棒推理机制,P15 和 P26 共同指向了结构感知提示适应与扩散正则化。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,系统评测不同解耦粒度与推理机制在开放世界基准上的表现,为领域提供公平的比较基准。
以上为节选,完整内容见ArxivReview