导读
视觉抽象推理旨在让机器从少量示例中归纳抽象规则并泛化至新情境,其核心价值在于突破端到端模型在系统性泛化上的根本局限。早期研究依赖神经符号架构或特定关系网络,但受限于数据稀缺和符号接地问题,难以处理复杂视觉结构。随着大规模视觉-语言模型(VLMs)的兴起,范式发生转折,但暴露出组合泛化和空间拓扑推理的显著缺陷,导致“感知-推理”解耦成为新焦点。程序化生成基准的成熟使得评估从主观判断转向确定性验证,揭示了模型在系统性组合泛化上的根本失败。当前研究重心转向概念瓶颈模型与对象中心表示的结合,强调通过显式的概念分解和层级化表示正则化来弥合感知与推理的鸿沟。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何度量到语义先验的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
视觉抽象推理与概念学习(Visual Abstract Reasoning and Concept Learning)的核心目标,是解决机器如何从少量视觉示例中归纳抽象规则并泛化至新情境的能力。这一能力被视为通往通用人工智能(AGI)的关键瓶颈,因为它要求系统超越基于表面特征的识别,转而掌握底层的规则结构。早期研究多依赖神经符号架构或特定的关系网络,试图通过人工设计的归纳偏置来模拟人类推理,但受限于数据稀缺和符号接地问题,这些方法难以处理复杂视觉结构中的组合泛化。
问题的形式化通常涉及从少量输入-输出对 $(X, Y)$ 中推断潜在规则 $R$,使得对于新的输入 $X'$,模型能预测 $Y' = R(X')$。然而,这一过程并非单一任务,而是由多个强依赖的子问题构成。其中,符号接地(Symbol Grounding)与对象中心表示(Object-Centric Representation)是基础,若不解决感知瓶颈(如颜色、形状识别错误),则无法准确评估或实现组合泛化与系统性推理。概念表征学习为推理架构提供中间表示,而基准构建与诊断则依赖于前两者的解耦以隔离特定能力。这种依赖关系决定了研究必须从底层表示向上层推理逐层推进。
2016-2018 年是该领域的奠基期,SCAN 和 CLEVR 等基准确立了程序化生成数据的方法论,RAVEN 则引入了矩阵推理任务,将抽象推理限制在单一模态,推动了基于深度学习的规则学习研究。这一时期的方法主要假设视觉推理可通过端到端神经网络从像素直接映射到规则,受限于数据稀缺,多依赖人工设计的归纳偏置。2020 年前后,随着 VLMs 的兴起,范式发生转折,研究者开始利用 VLMs 强大的语义先验进行概念提取,但发现其在组合泛化和空间拓扑推理上存在显著缺陷,导致“感知-推理”解耦成为新焦点。
2023-2024 年,程序化生成基准(如 ARC、RAVEN-FAIR)的成熟使得评估从主观判断转向确定性验证,揭示了模型在系统性组合泛化上的根本失败。问题定义从“识别”转向“规则归纳”,研究者开始关注模型在分布外组合上的失败模式。2025-2026 年,研究重心转向“概念瓶颈模型”(CBMs)与“对象中心表示”的结合,强调通过显式的概念分解(Concept Decomposition)和层级化表示正则化来弥合感知与推理的鸿沟。当前领域处于从黑盒端到端学习向可解释、模块化、符号接地架构回归的阶段,核心驱动力在于解决视觉概念在真实世界中的自适应发现与精确组合问题。
如果用一个核心问题概括该领域,那便是:如何在视觉感知与抽象符号推理之间建立可解释、可组合且鲁棒的映射机制,以突破端到端模型在系统性泛化上的根本局限。
2. 方法体系
2018:CLEVR——通过程序化生成3D场景进行视觉问答,开创了利用程序化数据控制视觉复杂度的先河
2019:RAVEN——由Zhang等人引入的程序化生成矩阵推理数据集,将抽象推理限制在单一推理模态
2021:PonderNet——引入迭代权重共享和自适应计算时间的Transformer架构,旨在通过循环机制反映对归纳偏置的考量
2023:PredRNet——结合认知科学中的预测与验证原则,采用浅层卷积网络提取特征并直接映射上下文图像以推断抽象规则
2025:COGITAO——一个程序化、基于网格且以对象为中心的框架,自由组合28个原子对象变换生成数百万可控输入-输出规则
2026:VARC——将ARC问题重新定义为图像到图像的翻译问题,从计算机视觉视角出发,采用测试时训练和多视图推理策略
2026:S2COPE——通过偏好学习进行自监督概念发现的框架,利用VLLM生成候选概念并基于视图不变性作为奖励信号进行过滤
这条时间线勾勒了该领域方法演进的代表性节点:从 2018 年的 CLEVR 奠定该领域方法基线,经 2019 年 RAVEN 的推进,到 2026 年的 VARC 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 抽象推理基准
抽象推理基准的构建是解决组合泛化评估难题的基础。早期基准如 CLEVR 和 RAVEN 虽然开创了程序化生成的先河,但往往局限于特定的空间关系或单一推理模态,缺乏对组合深度的精细控制。COGITAO(Taoudi-Benchekroun et al., 2025, P1)针对这一局限,构建了一个程序化、基于网格且以对象为中心的评估体系,通过自由组合 28 个原子对象变换生成数百万唯一且可控的输入-输出规则。其核心创新在于允许调整组合深度,从而精确控制训练与测试分布在原语、组合或序列长度上的差异,解决了现有视觉基准缺乏语言基准灵活性的问题。该框架支持从单对图像到图像序列的扩展,并提供了 RGB 渲染以支持真实世界视觉迁移,通过精细的结构控制隔离视觉复杂度与关系结构,确立了在对象中心领域评估系统性组合泛化的新标准。
TACIT Benchmark(Medeiros, 2026, P8)则进一步扩展了评估的维度,设计了一个包含 10 个任务跨 6 个推理领域的程序化视觉推理基准,涵盖空间导航、抽象模式补全、因果模拟等。其核心设计承诺是语言最小化,所有任务指令均通过视觉或结构化方式呈现,以隔离视觉推理与语言能力。TACIT 提供双轨评估:生成式轨道要求模型产生解决方案图像,并通过确定性计算机视觉流水线进行验证;判别式轨道提供五选一多选,其中干扰项仅违反一个结构约束。这种设计迫使模型推理细粒度视觉差异,而非利用表面线索,解决了现有基准依赖主观评分或仅支持多选的问题。CurveBench(Mohseni et al., 2026, P13)则专注于拓扑推理,构建了一个针对嵌套约当曲线进行精确拓扑推理的基准,揭示了当前视觉-语言架构在从嵌套曲线中恢复层次包含关系的抽象任务上存在显著的“拓扑差距”。Ear(Zhou et al., 2026, P12)提出了一种完全视觉的推理框架,将空间推理任务重构为图像编辑问题,通过程序化生成迷宫和皇后任务,评估图像编辑模型内在的视觉规划能力,避免了将视觉问题转化为文本依赖 LLM 的局限性。VisAnalog(Li et al., 2026, P14)则在自然图像上测试视觉概念转移,通过受控的视觉类比任务 A:B::C:? 来评估模型能力,揭示了强模型在变换组合数量增加时性能显著下降的现象。这些基准共同构成了从抽象网格到自然图像、从判别式到生成式的全面评估体系,为后续架构研究提供了高保真的测试床。
2.2 视觉推理架构
视觉推理架构的设计旨在解决规则学习与组合推理难题,其演进路径从早期的端到端映射转向当前的模块化与迭代式推理。CRD(ICLR 2026, P22)提出了一种将视觉输入分解为视觉概念和规则的两阶段概率框架,旨在解决组合性认知中的概念隔离问题。该方法通过分层贝叶斯推断或专门模块解耦视觉感知过程与高层规则推断过程,利用结构化生成先验如潜在高斯过程来建模概念和规则,与依赖辅助监督或任务特定归纳偏置的现有方法不同,CRD 试图从原始数据中学习这两个组件,减少了人类注入知识的需求。
Reasoning Loop Framework(CVPR 2026, P20)受人类“理解-解决”认知过程启发,提出了一种迭代推理循环框架,用于解决 ARC-AGI 等抽象推理任务。该框架包含理解模块(UM)和解决模块,UM 负责从提供的示例中提取变换规则,形成示例特定的规则表示。通过多次内部递归,UM 捕获示例内的复杂变换,并将查询令牌对应的隐藏状态提取为规则表示。这些表示通过门控机制传递给解决模块,生成临时解决方案并评估其与观察示例的一致性。该设计避免了单次前向计算的局限性,模拟了人类形成假设、生成解决方案、评估一致性和细化假设的迭代过程,增强了模型在极端数据稀缺条件下推断抽象规则并泛化到新输入的能力。
DIRCR(Zhang et al., 2026, P10)针对 RAVEN 任务提出了一种双推理规则对比推理模型,旨在解决全局模式捕获与行内类比关系建模之间的平衡问题。其核心模块 DIRM 采用双路径设计:全局路径从所有上下文面板推断缺失图像,局部路径执行行内类比以建模行内关系,两者均利用预测误差捕获潜在规则。DIRM 进一步整合误差引导的门控注意力,放大规则一致的特征并抑制噪声。另一模块 RCLM 采用伪标签规则对比学习,通过生成候选答案的伪标签,在对比空间中促进有效规则结构的紧凑聚类。VARC(Hu et al., 2025, P6)将 ARC 抽象推理问题重新定义为图像到图像的翻译问题,从计算机视觉视角提出了一种新的解决范式。该方法采用测试时训练(TTT)策略,利用少量示例适应预训练模型,并通过多视图推理提高准确性,展示了视觉中心方法在抽象推理中的潜力,挑战了依赖 LLM 上下文学习的传统路径。PR-A2CL(Li et al., 2026, P9)针对组合视觉关系推理提出了一种预测性推理与增强异常对比学习相结合的框架,感知模块 A2CL 通过弱数据增强和强数据增强提取鲁棒的规则一致视觉特征,预测异常推理模块(PARM)采用堆叠的预测-验证架构,将四图像异常选择任务转化为四个独立的预测-验证过程,提升了模型对复杂组合规则的推理能力。D-OCB(Tiwari et al., 2026, P18)提出了一种弱监督概念瓶颈学习架构,用于鲁棒的两阶段以对象为中心的视觉推理,结合概念瓶颈模型(CBM)和以对象为中心的表征学习,通过解耦符号感知与推理来解决符号接地和绑定问题,为神经符号架构提供了可解释且高效的解决方案。这些架构在感知-推理解耦、迭代认知模拟和视觉中心范式之间做出了不同取舍,共同推动了从黑盒端到端向模块化符号接地架构的回归。
2.3 概念表征学习
概念表征学习旨在解决从像素到符号结构的映射问题,探索视觉概念的可解释表征、自监督发现及语言接地机制。C-G(Vaishnav and Tammet, 2026, P11)范式引入了一种组件-语法范式,作为模块化流水线将视觉结构恢复与下游推理分离,以诊断视觉-语言模型在抽象推理中的表征瓶颈。该方法利用 Bongard-LOGO 基准的程序化生成痕迹,将图像编码为紧凑的语法字符串或自然语言描述,保留操作序列、角度信息和形状标识符,形成无噪声且组合性的程序化形状语法。通过改变输入格式从像素到 LOGO 风格符号程序,C-G 范式探究这种变化如何影响语言模型中的抽象泛化,揭示了符号接地在解决抽象视觉推理任务中的关键作用。
Language-Grounded Visual Concept Learning Framework(Jung et al., 2025, P4)提出了一种可扩展的框架,用于在真实世界场景中学习语言接地的视觉概念,克服了预定义概念轴的局限性。该框架利用预训练 VLM 通过提示策略自适应地发现每张图像相关的概念轴,如年龄、性别、毛发纹理等,而非依赖固定的颜色或形状轴。通用概念编码器 $E_\theta$ 基于 Q-Former 架构,将文本嵌入作为初始查询,通过交叉注意力层与视觉特征交互,实现视觉特征到任意概念轴的动态绑定。训练通过最大化组合锚定损失进行,确保概念表示的变化仅影响生成图像空间中对应的概念轴,从而解耦视觉概念。S2COPE(Xiang et al., 2026, P16)提出了一种通过偏好学习进行自监督概念发现的框架,旨在从无标注图像中自主发现可解释的视觉概念。该框架利用 VLLM 的预训练语义先验,通过随机采样提示生成候选自然语言描述,迫使模型探索词汇长尾以超越通用标题。随后,通过跨模态对比学习,利用视图不变性作为自监督奖励信号,驱动偏好优化循环,过滤噪声假设并收敛到精确的视觉接地词汇。OA-CBM(CVPR 2026, P23)提出了一种对象感知的概念瓶颈模型,旨在解决现有 CBM 中的语义不一致和对象不一致问题。该方法重新定义概念为部分-属性模式,并通过成本聚合机制稳定跨模态对应关系,引入分层对象聚类模块,强制对象感知分组并跨概念成本一致地传播对象掩码证据,确保非目标区域不引入虚假证据。VLH(Li, 2025, P7)从理论视角提出视觉理解预设视觉语义语言的假设,指出语义抽象的挑战主要在于基数而非维度,连续嵌入只能重塑几何,只有商式坍缩才能减少基数并产生语义符号。Minkowski Geometry Analysis(Fel et al., 2025, P3)通过分析 DINOv2 等自监督视觉 Transformer 中任务相关概念的几何结构,揭示了视觉概念在潜空间中的组织方式,验证了线性表示假设(LRH)在视觉概念中的适用性。HiR2(He et al., 2026, P17)提出了一种即插即用的框架,通过显式将分类学结构注入大型多模态模型(LMM)的中间视觉表征,以改善层次一致性,利用双曲空间执行正则化,强制层次蕴含关系,提升了模型在细粒度视觉识别和层次推理中的性能。这些方法在概念发现的自动化、符号接地的精确性和层级结构的一致性之间做出了不同取舍,为可解释视觉推理提供了理论基础和技术支撑。
2.4 模型评估诊断
模型评估诊断旨在系统分析现有基准的感知瓶颈、架构影响及人机差异,通过诊断性实验揭示视觉抽象推理中的失败模式与能力边界。AbsVis(EMNLP 2025, P21)构建了一个评估人类和视觉-语言模型(VLMs)如何“看”图像中抽象概念的基准,旨在揭示 VLMs 在抽象概念推理上的局限性。该基准收集了人类对图像中抽象概念(如怜悯、和平)的归因和解释,并对比 VLMs 的表现,发现 VLMs 常默认于字面物体解释,难以处理抽象性。通过直接偏好优化(DPO)微调 VLMs,利用人类归因的概念-解释对作为偏好数据,提升了模型在抽象概念解释上的偏好一致性。
RAVEN-FAIR Systematic Benchmark(Urgun and Arı, 2025, P5)开发了一个系统分析 LLM 在抽象视觉推理中架构影响的基准,要求 LLM 在不提供答案选项的情况下生成答案,以评估真实的上下文推理能力。该系统采用三阶段流水线:JSON 提取、LLM 推理和工具函数,通过预定义工具函数生成 PNG 格式的视觉输出,确保评估不仅基于文本还基于视觉结果。通过对比不同架构和访问方式的模型,该基准揭示了推理策略、模型架构和资源成本对性能的影响,消除了模型通过反向推理从正确答案推导的可能性。Perception Bottleneck Diagnosis(ACL 2026, P19)通过诊断性实验揭示了抽象推理基准中存在的感知瓶颈,指出人机性能差距主要由感知能力差异而非推理能力驱动。该方法构建了两阶段流水线,利用强 VLM 将图像转换为自然语言描述(感知阶段),再由弱 VLM 进行推理,对比端到端预测,验证了如果性能接近强模型端到端预测,则差距源于感知。Novel Visual References Study(Tür et al., 2026, P15)通过研究 VLMs 和人类对新颖视觉参考的分类和映射行为,诊断了模型在概念学习中的偏差和泛化能力,揭示了模型在形状偏差、互斥性偏差等认知偏差上的表现差异。Abstract Images Representation Analysis(Li and Jiao, 2025, P2)通过探索性研究分析了从抽象图像(如 SVG 矢量图形)中学习的视觉表征,揭示了形状导向视觉信息在机器学习系统中的作用,强调了形状线索在人类视觉识别模式中的关键作用。这些诊断工作共同揭示了感知瓶颈在抽象推理评估中的核心地位,为改进基准设计和架构优化提供了关键洞察。
2.5 跨任务与多领域应用
视觉抽象推理与概念学习的方法不仅局限于抽象网格任务,还逐步扩展至真实世界场景、医学成像及多模态理解等领域。Language-Grounded Visual Concept Learning Framework(Jung et al., 2025, P4)通过自适应概念轴发现,实现了从像素到语言接地概念表征的映射,提升了组合泛化和可解释性,为真实世界场景中的概念学习提供了可扩展的解决方案。S2COPE(Xiang et al., 2026, P16)通过自监督概念发现,将不透明的连续向量表示转化为离散的自然语言概念集合,为高利害领域如医学成像提供了透明的决策依据。OA-CBM(CVPR 2026, P23)通过联合视觉-语言解释,增强了模型决策的可追溯性和忠实性,为高利害领域提供了可靠的视觉解释框架。HiR2(He et al., 2026, P17)通过几何正则化将分类学树结构嵌入视觉表征,提升了模型在细粒度视觉识别和层次推理中的性能,为 LMM 的结构性理解提供了新途径。这些应用表明,视觉抽象推理的核心机制——概念分解、符号接地和层级一致性——具有跨领域的通用性,能够适应从抽象基准到真实世界噪声数据的不同场景。
3. 关键共识、分歧与开放问题
3.1 领域共识
现有端到端视觉-语言模型在组合泛化和系统性推理上存在根本性缺陷,无法仅通过扩大模型规模解决,需要引入显式的结构化归纳偏置或符号推理模块(支撑证据:P1、P8、P10、P18)。这一共识在多个基准上被反复验证:DIRCR 的 65.2% 与 PR-A2CL 的 89.5% 均大幅超越传统端到端模型,而 VARC 的 54.5% 则展示了视觉中心范式在特定任务上的潜力。与此相关的另一个共识是,视觉抽象推理任务的性能瓶颈往往在于视觉感知阶段而非推理阶段,分离感知与推理是评估真实推理能力的关键(支撑证据:P11、P19)。诊断实验表明,如果性能接近强模型端到端预测,则差距源于感知,这挑战了现有基准主要测试推理能力的假设。
3.2 观点分歧
符号接地的实现路径存在显著分歧:一方主张利用 VLMs 强大的语义先验进行概念提取(如 Language-Grounded Visual Concept Learning Framework),另一方则主张通过自监督偏好学习从无标注数据中自主发现概念(如 S2COPE)。现有证据偏向 VLMs 辅助路径,因为其在语义丰富性上具有优势,但自监督路径在可扩展性和无标注场景下更具潜力。这一分歧的背后,是另一个更根本的争论:表示空间的选择。标准欧氏空间表示是否足以捕捉视觉概念,还是需要通过双曲空间等特定几何结构来维持层级一致性?HiR2 在 iNaturalist-2021 上的表现支持双曲空间的有效性,但其计算复杂度较高,且在非层级结构中的适用性尚不明确。感知与推理的解耦程度也是争议焦点:完全解耦(如 C-G Paradigm)能更准确评估推理性能,但端到端联合优化(如 VARC)在真实世界任务中可能更具鲁棒性。现有证据偏向完全解耦,但缺乏在真实世界噪声数据上的直接对比。
3.3 其他开放问题
最紧迫的工程问题是基准构建的自动化与评估流水线的效率。当前程序化生成基准如 COGITAO 和 TACIT 虽然严谨,但构建成本高昂,限制了大规模应用。潜在路径是开发更高效的生成算法和自动验证工具。最根本的研究问题是真实世界概念轴的自适应发现。现有概念学习依赖预定义的概念轴,无法覆盖真实场景的无限多样性,缺乏从无标注数据中自主发现相关概念维度的机制。潜在路径是利用 VLMs 作为假设生成器结合自监督偏好学习进行概念发现,如 S2COPE 所示。此外,拓扑与空间关系的精确推理仍是未解的研究问题,现有模型在处理嵌套曲线、连通性等拓扑结构时表现极差,存在显著的“拓扑差距”。潜在路径是利用可验证奖励的强化学习(RLVR)微调 VLM,并扩展至完整平面地图和对偶图。已知的是,感知瓶颈掩盖推理能力,程序化生成是必要手段;争议的是,符号接地的实现路径和表示空间的选择;未知的是,真实世界噪声下的概念发现与组合泛化机制。
4. 总结与展望
视觉抽象推理与概念学习领域正处于从黑盒端到端向可解释模块化架构回归的关键期。核心矛盾在于视觉感知的模糊性与抽象推理的确定性之间的张力,早期方法依赖神经符号架构或特定关系网络,但受限于数据稀缺和符号接地问题,难以处理复杂视觉结构。随着 VLMs 的兴起,范式发生转折,但暴露出组合泛化和空间拓扑推理的显著缺陷,导致“感知-推理”解耦成为新焦点。程序化生成基准的成熟使得评估从主观判断转向确定性验证,揭示了模型在系统性组合泛化上的根本失败。当前研究重心转向概念瓶颈模型与对象中心表示的结合,强调通过显式的概念分解和层级化表示正则化来弥合感知与推理的鸿沟。核心瓶颈在于如何在视觉感知与抽象符号推理之间建立可解释、可组合且鲁棒的映射机制,以突破端到端模型在系统性泛化上的根本局限。
未来可能突破的方向包括:结合自监督概念发现与层级化表示正则化,弥合抽象与真实世界的差距。S2COPE 和 HiR2 共同指向了这一方向,前者通过偏好学习实现概念发现,后者通过双曲空间正则化维持层级一致性。另一个方向是利用可验证奖励的强化学习(RLVR)微调 VLM,提升拓扑与空间关系的精确推理能力。CurveBench 和 TACIT 共同指向了这一方向,前者提供了拓扑推理的测试床,后者提供了确定性验证的评估协议。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,系统评估不同符号接地路径(VLMs 辅助 vs. 自监督发现)在真实世界噪声数据上的性能,以解决当前证据不足的问题。
以上为节选,完整内容见ArxivReview