导读
Vision Transformer(ViT)的演进并非单一维度的精度提升,而是一场围绕“计算复杂度”与“归纳偏置”两大核心矛盾的工程与理论博弈。早期研究试图以自注意力机制的全局依赖建模突破卷积神经网络(CNN)的局部限制,确立了基于 Patch 序列的视觉表征新范式。然而,二次方计算复杂度与空间先验缺失的缺陷,迅速将研究重心引向效率优化与数据效率的平衡。Swin Transformer 通过层级化窗口注意力解决了高分辨率处理的瓶颈,而混合架构则通过引入卷积模块弥补了纯注意力机制在小数据场景下的不足。随着模型规模扩大,线性注意力、递归机制及后训练架构搜索成为新热点,旨在以极低的参数与计算成本实现深层特征精炼。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从全局依赖到高效表征的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
Vision Transformer 的兴起源于对卷积神经网络局部归纳偏置局限性的突破,其核心逻辑在于利用自注意力机制实现全局依赖建模,从而在图像分类等任务上超越 CNN。2020 年 ViT 的提出是首个关键转折,它确立了将图像视为 Patch 序列的范式,通过块嵌入(Patch Embedding)将图像分割为固定大小的非重叠块并线性投影为向量序列,随后利用自注意力机制捕获长程依赖。这一范式虽然简洁,却暴露了两个根本性缺陷:一是自注意力机制具有 $O(N^2)$ 的计算复杂度,随 Token 数量平方增长,导致高分辨率图像处理成本极高;二是 ViT 缺乏 CNN 的局部性和平移等变性等空间归纳偏置,导致在小数据集上数据效率低下。这两个缺陷构成了该领域后续所有架构创新的原始驱动力。
问题定义随之从“能否超越 CNN”演变为“如何高效部署与集成”。在 2020-2021 年间,研究重心聚焦于解决高分辨率适应性差与密集预测任务的多尺度需求。原始 ViT 依赖固定位置编码,难以直接处理可变尺寸图像,且扁平结构无法生成多尺度特征金字塔,导致其在检测与分割任务中表现不佳。Swin Transformer 的引入标志着问题定义的第一次重大演化,它通过层级化窗口注意力机制,将计算复杂度从二次方降低至线性,同时构建了多尺度特征表示,解决了标准 ViT 在高分辨率图像上的效率瓶颈,成为密集预测任务的主流骨干网络。此时,问题已从单纯的精度竞争转向效率与精度的平衡。
2022-2023 年,随着模型规模扩大,研究重心进一步转向数据效率与可扩展性。纯 Transformer 架构在小数据集上性能远逊于 CNN,缺乏局部性先验导致其难以在数据受限场景下应用。DeiT 通过知识蒸馏策略引入 CNN 的归纳偏置,证明了通过外部监督弥补注意力机制局部性缺失的可行性。与此同时,大规模 ViT 训练成本高昂的问题促使研究者关注模型扩展策略,Net2Net 等渐进式训练方法通过参数复制与层堆叠实现了预训练模型的高效扩展,为模型缩放定律的工程落地提供了关键路径。这一阶段,问题定义演化为如何在保持全局建模优势的同时,通过混合结构或蒸馏手段提升数据效率,并通过自动化扩展降低训练成本。
2024-2026 年,研究进入动态自适应与自动化阶段,聚焦边缘部署资源限制及多模态大模型集成需求。线性注意力、递归架构及后训练架构搜索成为新热点。线性注意力通过移除 Softmax 或分解矩阵将复杂度降至 $O(N)$,旨在解决高分辨率处理的计算瓶颈;递归架构通过重复应用共享参数的块来增加有效深度,以极少参数实现深层特征精炼;后训练搜索则通过蒸馏与束搜索在预训练模型中混合不同注意力类型,无需重新预训练即可实现高效架构。这一阶段,问题定义最终演化为如何在资源受限场景下,通过动态计算分配与自动化搜索,实现计算效率、数据效率与鲁棒性的最优平衡。
子问题之间呈现依赖与互补关系。降低计算复杂度(高效注意力)是基础,但单纯降低复杂度往往牺牲精度,因此需要引入归纳偏置(空间先验/混合结构)来补偿;架构搜索与扩展则依赖于前两者提供的模块库,以实现自动化最优配置。例如,线性注意力解决了复杂度问题,但精度损失需通过混合 CNN 模块或递归机制来弥补;而架构搜索则负责在这些模块间寻找最优组合。这种依赖关系决定了该领域的方法体系并非孤立发展,而是围绕核心矛盾形成的协同演进网络。
范式边界方面,ViT 与 CNN 的本质差异在于归纳偏置的来源。CNN 内置局部性和平移等变性,而 ViT 依赖数据学习这些特性。近年研究致力于通过混合结构或位置编码重新引入这些偏置,而非完全抛弃 CNN。ViT 已成为计算机视觉的基础设施,并在医学影像、视频压缩等垂直领域持续深化应用。当前形态下,ViT 不再是 CNN 的简单替代者,而是与之融合、互补的通用视觉表征框架。
如果用一个核心问题概括该领域,那便是:如何在保持自注意力机制全局建模优势的同时,通过架构创新(线性化、层级化、混合化)消除其二次方计算复杂度与空间归纳偏置缺失带来的效率与数据效率瓶颈。
2. 方法体系
2020:ViT——奠定该领域方法基线
2021:Swin Transformer——层级化窗口注意力解决高分辨率效率瓶颈
2021:DeiT——通过知识蒸馏引入 CNN 归纳偏置
2023:Net2Net/StackBERT——渐进式训练策略实现预训练模型高效扩展
2025:Linear Attention/FLatten——确立线性注意力在高分辨率视觉任务中的可行性
2026:Post-Training Attention Search——后训练注意力搜索框架实现 O(N) 复杂度且保持精度
2026:TAS-LoRA——结合架构搜索与混合 LoRA 专家实现参数高效微调
这条时间线勾勒了该领域方法演进的代表性节点:从 2020 年的 ViT 奠定该领域方法基线,经 2021 年 DeiT 的推进,到 2026 年的 TAS-LoRA 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 高效注意力机制
高效注意力机制路线的起源可追溯至 2021 年 Swin Transformer 提出的层级化移位窗口注意力机制,它通过非重叠窗口内的局部自注意力与窗口间移位交互,将计算复杂度从二次方降低至线性,解决了标准 ViT 在高分辨率图像上的效率瓶颈。这一设计确立了“局部窗口+全局交互”的基本范式,成为后续高效注意力研究的基准。然而,窗口注意力仍保留了 Softmax 操作,在极高 Token 数量下计算成本依然显著。2025 年,Linear Attention 系列通过消除 Softmax 并应用特征映射或焦点函数,将注意力计算复杂度降至线性,虽然早期存在精度损失,但通过矩阵分解与深度卷积增强,确立了线性注意力在高分辨率视觉任务中的可行性。
本批论文中,Linear Differential Vision Transformer(Pu et al., 2025, P6)针对标准自注意力机制在视觉任务中 $O(N^2)$ 的计算复杂度瓶颈,提出基于成对微分的线性注意力机制。该方法通过消除 Softmax 操作并应用特征映射,将注意力计算转化为线性复杂度,同时引入微分视角来学习视觉对比,以缓解线性注意力常见的精度损失问题。其核心模块利用成对微分算子捕捉 token 间的局部变化,替代传统的相似度矩阵计算,从而在保持全局上下文建模能力的同时大幅降低计算开销。相比现有的线性注意力变体,它更强调通过微分结构保留视觉细节,而非仅仅依赖矩阵分解或局部窗口限制。这一设计为高分辨率视觉 Transformer 提供了新的理论视角,平衡了效率与表征保真度。
SoLA-Vision(Li et al., 2026, P12)提出一种细粒度的层级线性 Softmax 混合注意力机制,旨在解决高分辨率图像中 Softmax 注意力的计算瓶颈。该方法基于层级化架构,在早期阶段使用线性注意力以线性复杂度处理高分辨率 Token,而在后期低分辨率阶段引入 Softmax 注意力以最大化特征聚合能力。其核心设计包含 Hidden State Bridge 模块,用于在不同注意力类型之间传递和采样隐藏状态,确保信息流的连续性。通过理论分析,该方法指出堆叠线性注意力的有效交互范围随深度呈平方根增长,因此混合策略能更有效地扩展感受野。SoLA-Vision 在保持与全 Softmax 变体相当精度的同时,显著降低了高分辨率输入下的计算量。这种层级混合策略为设计可扩展的视觉 Transformer 提供了新的范式,特别是在需要处理大尺寸图像的应用场景中。
ReGLA(Li et al., 2026, P13)提出一种基于门控线性注意力网络的高效感受野建模架构,专为资源受限平台设计。该架构包含一个 Stem 块和四个层级阶段,通过步长卷积实现空间下采样,同时扩展通道容量以增强特征表达。核心创新在于采用门控线性注意力机制,在保持线性计算复杂度的同时,通过门控单元增强局部信息提取能力,确保大感受野下的数值稳定性。该方法优先满足高分辨率图像处理的线性复杂度需求,同时通过层级化设计平衡局部细节与全局语义的捕获。相比传统 CNN,它克服了局部感受野限制;相比标准 ViT,它避免了二次方计算成本。ReGLA 在轻量级模型参数范围内实现了具有竞争力的精度,为移动设备和嵌入式系统中的视觉任务提供了高效的骨干网络选择。
Post-Training Attention Search(Zou et al., 2026, P23)提出一种后训练架构搜索框架,旨在将预训练的全注意力 Vision Transformer 转化为高效的混合模型。该方法首先通过搜索确定线性注意力与窗口注意力块的最优组合,生成具有线性计算复杂度的基础高效 ViT。随后,通过引入少量全注意力块并执行蒸馏训练,利用束搜索确定这些全注意力块的最优放置位置,以弥补高效注意力带来的精度损失。其核心优势在于继承原始 ViT 的所有权重,无需访问私有预训练数据集或进行昂贵的重新预训练,仅需在公开数据集上进行两阶段的蒸馏与搜索。这种方法解决了高效 ViT 架构探索通常受限于小规模基准验证的问题,使得在高分辨率下游任务中保持全注意力模型性能成为可能。该框架为资源受限场景下部署高性能视觉基础模型提供了一条无需从头训练的高效路径,显著降低了架构创新的门槛。
Lightweight Food Image Classification ViT(Gao et al., 2025, P2)针对食品图像分类任务中类别相似度高、细节差异大的挑战,提出一种集成窗口多头注意力(WMHA)和空间注意力模块(SAM)的轻量级 ViT 架构。WMHA 机制结合相对位置编码与多头注意力,通过共享权重矩阵和紧凑的位置编码方案减少参数量,同时精确捕获序列内的相对位置关系。SAM 模块以残差形式嵌入前馈神经网络中,在不增加额外参数的前提下增强关键特征的提取能力,提升模型对输入变化的鲁棒性。该方法通过参数共享和窗口化机制显著降低了计算复杂度,使其适用于生产环境中的实时质量检查。相比标准 ViT,它在保持分类精度的同时大幅减少了模型大小,解决了食品图像细粒度分类中的数据效率与计算效率矛盾。
高效注意力机制路线与卷积 Transformer 融合路线存在互补关系。高效注意力机制侧重于降低计算复杂度,但往往牺牲局部细节的捕获能力;卷积融合路线则通过引入 CNN 模块增强局部特征提取,弥补高效注意力机制在局部结构建模上的不足。两者结合可形成兼顾效率与精度的混合架构。
2.2 卷积Transformer融合
卷积 Transformer 融合路线的起源可追溯至 2021 年 DeiT 提出的知识蒸馏策略,它通过引入 CNN 的归纳偏置,使 ViT 在小规模数据集上无需大量预训练数据即可达到与 CNN 相当的性能。这一工作证明了通过外部监督弥补注意力机制局部性缺失的可行性,推动了 ViT 在数据受限场景的应用。2025 年,ConvNeXt 与 CoAtNet 进一步优化 CNN 设计以融合 Transformer 组件,如倒置瓶颈与层缩放,同时保留卷积的局部归纳偏置,与 ViT 形成互补,证明了混合架构在捕捉局部细节与全局语义方面的协同效应。
本批论文中,EVCC(Hasan et al., 2025, P10)提出一种融合 Vision Transformer、ConvNeXt 和 CoAtNet 三种骨干网络的混合架构,旨在结合 CNN 的局部空间归纳偏置与 Transformer 的全局上下文建模能力。该方法通过策略性集成,利用 ViT 捕获长程依赖,ConvNeXt 提供优化的层级特征提取,CoAtNet 增强多尺度特征交互,从而在低数据场景下提升数据效率。核心设计在于平衡三种架构的计算开销,确保整体模型在保持高性能的同时具备可部署性。EVCC 在文档、自然图像、人脸属性和医学影像等多个领域进行了验证,展示了其跨领域的泛化能力。相比单一架构,这种融合策略弥补了 ViT 缺乏局部先验的缺陷,同时克服了纯 CNN 在全局信息建模上的不足。该方法为设计鲁棒的图像分类模型提供了一种模块化的融合范式,特别适用于数据量有限或类别复杂的实际应用场景。
Hybrid CNN-ViT NAS for TinyML(Djajapermana et al., 2025, P7)针对 TinyML 资源受限设备,提出一种混合卷积与 Vision Transformer 的神经架构搜索(NAS)搜索空间。该搜索空间包含残差块、瓶颈块和倒置瓶颈块等 CNN 组件,以及可搜索的 ViT 注意力模块,允许自动发现最优的混合结构。核心创新在于引入硬件感知 NAS(HW-NAS),在搜索过程中考虑模型大小、延迟和内存约束,确保生成的架构能在微控制器上运行。该方法通过可微分超网训练,高效探索 CNN 局部特征提取与 ViT 全局注意力之间的最佳平衡点。相比纯 CNN 或纯 ViT,混合架构在极低资源下实现了更优的精度-效率权衡。这一工作为边缘设备上的视觉任务提供了自动化的架构设计工具,解决了手动设计混合模型耗时且难以优化的问题。
CoSwin(Khadka et al., 2025, P1)提出一种卷积增强的层级移位窗口注意力架构,专为小规模视觉任务设计。该方法在标准 ViT 的四个层级阶段中,嵌入卷积融合窗口多头自注意力模块,通过卷积操作增强局部特征提取,同时利用移位窗口机制捕获全局上下文。核心组件包括 Patch Embedding 层和 Patch Merging 层,用于构建层级化特征表示,并在每个阶段应用 CoSwin Transformer 块。相比 Swin Transformer,CoSwin 通过引入卷积融合,强化了模型对小规模图像中局部细节的敏感度,弥补了纯注意力机制在局部结构建模上的不足。该方法在保持线性计算复杂度的同时,提升了模型在有限数据下的泛化能力。CoSwin 为小样本或低分辨率图像分类任务提供了一种兼顾局部与全局特征的混合架构解决方案。
Attention Via Convolutional Nearest Neighbors (ConvNN)(Kang and Rocha Neto, 2025, P9)提出一种统一卷积与注意力的新算子,通过最近邻选择机制实现局部空间聚合与全局特征相似性聚合的融合。该方法首先通过可学习线性投影计算 Query 和 Key,利用余弦相似度选择每个特征的 k 个最近邻,然后对邻居矩阵应用 1D 卷积进行加权聚合。ConvNN 的核心思想是揭示卷积(基于空间邻近性)和注意力(基于特征相似性)在邻居选择上的共同原理,并通过参数化控制两者之间的插值。相比标准卷积,它能动态选择非局部邻居;相比标准注意力,它通过卷积操作降低了计算复杂度并引入了局部平滑性。这一算子为设计混合架构提供了原子级的组件,使得模型能够灵活地在局部细节和全局语义之间进行权衡,适用于需要精细空间关系建模的视觉任务。
GCN-HViT(Jiao, 2026, P19)提出一种由图卷积网络(GCN)增强的层级 Vision Transformer,旨在解决图像 Patch 语义信息稀疏的问题。该方法首先构建层级 ViT,通过在 2D 空间中将小 Patch 聚合为大 Patch 来建模多尺度层级关系,随后引入 GCN 模块进一步增强特征交互。核心创新在于利用 GCN 替代传统的 1D 位置编码,通过图结构捕捉 Patch 间的空间拓扑关系,从而更有效地聚合局部语义信息。相比标准 ViT,GCN-HViT 通过图卷积增强了相邻 Patch 的信息共享,缓解了单个 Patch 表征不足的问题。该方法在图像分类任务中展示了更好的特征表达能力,特别是在需要精细空间理解的场景中。GCN-HViT 为结合图神经网络与 Transformer 提供了新的架构思路,提升了模型对不规则空间关系的建模能力。
HFViT(Sharma and Paul, 2026, P24)提出一种用于 HEVC 视频编码加速的卷积-层级注意力 Transformer 混合架构,专注于 Coding Unit(CU)分区预测。该方法包含深度可分离轻量级卷积 Stem,用于提取多尺度特征,随后连接双层级注意力 Transformer(HAT)块,通过 Carrier Token 交互实现高效的全局上下文建模。核心设计在于将卷积的局部特征提取能力与 HAT 的全局依赖建模能力相结合,并在分类头注入量化参数(QP)以实现率失真感知预测。相比纯 CNN 方法,HFViT 能更好地捕捉跨 CU 的全局相关性;相比纯 Transformer,它通过卷积 Stem 降低了高分辨率输入的计算成本。该方法显著降低了 HEVC 编码器的计算复杂度,同时保持了分区决策的准确性,为视频编码中的实时加速提供了高效的混合架构方案。
卷积 Transformer 融合路线与归纳偏置与对称性路线存在继承关系。卷积融合路线通过引入 CNN 模块显式地恢复局部归纳偏置,而归纳偏置路线则通过更精细的机制(如空间衰减、群等变)隐式地增强空间先验。两者共同致力于解决 ViT 缺乏空间归纳偏置的问题,但前者侧重于架构层面的混合,后者侧重于机制层面的增强。
2.3 架构搜索与扩展
架构搜索与扩展路线的起源可追溯至 2023 年 Net2Net/StackBERT 提出的渐进式训练策略,它通过参数复制与层堆叠实现预训练模型的高效扩展,解决了大规模 ViT 训练成本高昂的问题,为模型缩放定律(Scaling Law)的工程落地提供了关键的技术路径。这一工作确立了“小模型预训练+大模型扩展”的基本范式,成为后续架构搜索与扩展研究的基准。
本批论文中,TAS-LoRA(Jeon et al., 2026, P21)提出一种结合 Transformer 架构搜索(TAS)与混合 LoRA 专家的方法,旨在自动化发现针对特定硬件约束的最优 ViT 架构。该方法利用 One-shot TAS 训练权重纠缠的超网,并引入 Mixture-of-LoRA Experts 机制,其中路由器基于子网配置而非输入特征图选择 LoRA 专家。核心创新在于将 LoRA 参数合并到超网中,消除了推理时的额外计算开销,并解决了传统 MoLE 方法中路由器需为每个输入重新计算专家权重的问题。相比零成本代理方法,TAS-LoRA 无需从头训练选定的架构,降低了部署成本;相比传统 One-shot NAS,它通过 LoRA 的低秩适配缓解了特征坍塌问题。该方法为不同硬件平台上的 ViT 部署提供了高效的自动化搜索工具,平衡了性能、参数效率与训练成本。
ScaleNet(Hao et al., 2025, P4)提出一种通过增量参数扩展预训练神经网络的策略,旨在解决大规模 Vision Transformer 训练成本高昂的问题。该方法基于渐进式训练思想,通过宽度扩展(参数复制)或深度扩展(层堆叠)将小型预训练模型扩展为大型模型,同时保留预训练知识。核心模块包括 Net2Net 风格的参数映射规则和 StackBERT 风格的层插值技术,确保扩展后的模型能继承原始模型的表征能力。相比从头训练,ScaleNet 显著加速了大型 ViT 的收敛过程,并降低了计算资源需求。该方法验证了“更大更好”的缩放定律在工程上的可行性,为研究人员和企业提供了低成本提升模型性能的路径。ScaleNet 在保持精度的同时优化了训练效率,成为模型扩展领域的重要参考方法。
架构搜索与扩展路线与高效注意力机制路线存在依赖关系。架构搜索依赖于高效注意力机制提供的模块库(如线性注意力、窗口注意力),以实现自动化最优配置。高效注意力机制解决了单个模块的效率问题,而架构搜索则负责在多个模块间寻找全局最优组合,两者协同实现了从模块级优化到系统级优化的跨越。
2.4 归纳偏置与对称性
归纳偏置与对称性路线的起源可追溯至 2020 年 ViT 引入的可学习位置编码,它通过为无序的 Patch 序列注入空间位置信息,初步解决了 ViT 缺乏空间感知能力的问题。2022 年,ALiBi/RetNet 在 NLP 领域引入基于曼哈顿距离的显式空间衰减机制,通过线性复杂度替代 Softmax 注意力,为视觉 Transformer 引入空间先验提供了理论依据,启发了后续视觉模型中显式位置编码与衰减因子的设计。2025 年,Alias-Free ViT 通过线性注意力实现分数平移不变性,解决标准 ViT 因下采样和非线性层导致的混叠问题,恢复了卷积网络的平移等变性,提升了模型对图像微小位移的鲁棒性。
本批论文中,HAViT(Banik et al., 2026, P17)提出一种历史注意力 Vision Transformer,通过跨层传播和整合自注意力矩阵来建立注意力记忆架构。该方法打破了标准 ViT 中注意力层相互隔离的限制,保留了未处理的 Q·K^T 矩阵并在后续层中累积,从而在深度方向上建立注意力模式的知识积累。核心模块包括注意力历史初始化和跨层注意力传播机制,允许模型利用早期层发现的局部模式来增强后期层的全局语义理解。相比标准 ViT,HAViT 通过引入时间维度的注意力记忆,提升了模型对复杂空间关系的建模能力。这种方法为 Transformer 的深度扩展提供了新的视角,即通过信息复用而非单纯增加参数来提升性能。HAViT 在图像识别任务中展示了更好的层级细化能力,为设计具有长期记忆机制的视觉模型提供了基础。
Advancing ViT with Enhanced Spatial Priors(Fan et al., 2026, P20)提出一种通过增强空间先验来改进 Vision Transformer 的方法,旨在弥补自注意力机制缺乏显式空间结构的问题。该方法引入基于欧几里得距离的显式空间衰减因子,替代传统的曼哈顿距离,以更直观地建模空间邻近性对注意力权重的影响。核心模块包括改进的位置编码和空间衰减机制,确保模型在捕获全局依赖的同时保留局部空间结构信息。相比 Swin Transformer 的窗口机制,该方法通过全局注意力中的显式衰减实现了更灵活的空间先验注入。这种方法提升了模型对空间布局的敏感性,特别是在需要精确位置感知的任务中。通过增强空间先验,该工作提高了 ViT 在有限数据下的泛化能力,为设计具有更强空间归纳偏置的视觉模型提供了新方向。
Alias-Free ViT(Michaeli and Soudry, 2025, P5)提出一种通过线性注意力实现分数平移不变性的 Vision Transformer,旨在解决标准 ViT 因下采样和非线性层导致的混叠问题。该方法识别出混叠是破坏平移等变性的主要原因,并通过引入低通滤波或平滑激活函数来缓解这一问题。核心创新在于利用线性注意力机制替代标准 Softmax 注意力,结合特定的下采样策略,确保模型输出对图像微小位移具有鲁棒性。相比标准 ViT,Alias-Free ViT 恢复了卷积网络中常见的平移不变性归纳偏置,提升了模型在图像翻译任务中的稳定性。这种方法为理解 Transformer 的几何性质提供了新视角,并展示了如何通过架构设计恢复丢失的对称性。Alias-Free ViT 在需要高鲁棒性的视觉应用中具有潜在价值,为改进 Transformer 的几何不变性提供了技术路径。
VariViT(Varma et al., 2026, P15)提出一种支持可变图像尺寸的 Vision Transformer,旨在解决标准 ViT 固定输入尺寸导致的裁剪和缩放信息损失问题。该方法通过动态调整位置编码和 Patch 嵌入,使模型能够处理不同分辨率和长宽比的输入,而无需重新训练或复杂的插值操作。核心模块包括可变尺寸的位置编码生成机制和自适应 Patch 分割策略,确保模型在保持空间关系的同时适应不同输入规模。相比 FlexiViT 和 SuperViT,VariViT 避免了随机 Token 丢弃带来的信息损失,特别适用于医学影像等感兴趣区域大小不一的场景。这种方法提升了模型在实际部署中的灵活性,减少了预处理步骤的复杂性。VariViT 为处理非固定尺寸图像提供了高效的架构解决方案,增强了 ViT 在多样化视觉任务中的适用性。
IBiT(Giri, 2025, P3)提出一种利用归纳偏置创建更数据高效注意力机制的 Vision Transformer,旨在解决 ViT 在小数据集上性能不佳的问题。该方法通过可学习掩码近似卷积操作,将 CNN 的局部性和平移等变性归纳偏置引入自注意力机制。核心模块包括卷积近似自注意力层,通过设置特定的注意力矩阵结构来模拟卷积核的局部加权求和过程。相比 DeiT 的知识蒸馏方法,IBiT 不依赖强大的教师模型,而是直接在架构层面引入归纳偏置,降低了训练复杂度。这种方法使 ViT 能够在小样本场景下达到与 CNN 相当的性能,提升了数据效率。IBiT 为设计数据高效的视觉 Transformer 提供了新范式,证明了通过架构修改引入归纳偏置的有效性。
Vanilla Group Equivariant Vision Transformer(Fu et al., 2026, P14)提出一种简单的群等变 Vision Transformer,旨在通过嵌入对称性先验来提升模型在图像变换下的鲁棒性。该方法利用群等变卷积的思想,设计等变的注意力机制,确保输入图像的旋转、平移或镜像变换会导致输出特征的可预测变换。核心模块包括等变位置编码和等变注意力投影,使得模型在保持全局上下文建模能力的同时,显式地嵌入几何对称性。相比标准 ViT,该方法在图像超分辨率等任务中展示了更好的泛化能力和更少的参数需求。这种方法为 Transformer 的几何性质提供了理论分析,并展示了如何通过简单的架构修改实现等变性。Vanilla Group Equivariant ViT 为设计具有更强鲁棒性的视觉模型提供了基础,特别是在需要处理几何变换的任务中。
bViT(Byra et al., 2026, P22)提出一种调查单块递归在 Vision Transformer 中作用的架构,旨在探索通过重复应用共享块来替代独立参数化层的有效性。该方法将标准 ViT 的多个独立 Transformer 块替换为单个共享块,并通过多次递归迭代来增加有效深度。核心设计在于去除层特定的随机性组件(如随机深度),以确保递归设置的稳定性,并研究递归步数对图像识别性能的影响。相比标准 ViT,bViT 在参数效率上具有优势,但可能牺牲部分层特异性表征能力。这种方法为理解 Transformer 深度与参数共享之间的关系提供了实证基础,揭示了递归机制在视觉任务中的潜力。bViT 为设计参数高效的视觉 Transformer 提供了新视角,特别是在资源受限或需要快速推理的场景中。
归纳偏置与对称性路线与理论分析与表征路线存在互补关系。归纳偏置路线侧重于通过架构设计显式地引入空间先验,而理论分析路线则侧重于通过数学工具揭示 ViT 内部表征的结构,为架构设计提供理论依据。两者共同致力于提升 ViT 的可解释性与鲁棒性,但前者侧重于实践层面的改进,后者侧重于理论层面的洞察。
2.5 理论分析与表征
理论分析与表征路线的起源可追溯至 2024 年 CKA/SSIM 分析框架的提出,它利用中心内核对齐(CKA)和结构相似性指数(SSIM)量化 ViT 表征的组合性,通过离散小波变换(DWT)基函数验证编码器层输出的线性可加性,揭示了 ViT 内部表征的数学结构,为可解释性研究提供了标准化工具。这一工作确立了“表征分析+架构设计”的研究范式,成为后续理论分析研究的基准。
本批论文中,Exploring Compositionality in ViT using Wavelet Representations(Purushottamdas et al., 2025, P11)提出一种利用离散小波变换(DWT)分析 Vision Transformer 表征组合性的框架,旨在揭示 ViT 内部表征的数学结构。该方法将输入图像分解为低频近似和高频细节分量,并检查 ViT 编码器层输出是否满足线性可加性,即原始图像的表征是否等于其小波分量表征之和。核心模块包括 DWT 基函数生成和 CKA/SSIM 相似度度量,用于量化组合性的程度。分析表明,ViT 的最终层表征在简单加法下不满足严格组合性,但存在可学习的非线性映射近似。这一发现为理解 ViT 如何整合多尺度视觉信息提供了理论依据,并指出了其表征的非线性本质。该工作为可解释性研究提供了新工具,有助于指导架构设计以增强表征的结构化特性。
Random Wins All: Rethinking Grouping Strategies for Vision Tokens(Fan et al., 2026, P16)提出一种基于随机张量排序的视觉 Token 分组策略,旨在解决 Swin Transformer 等基于空间窗口分组方法的局限性。该方法生成一个固定的随机张量,根据该张量对 Token 进行排序和分组,从而打破空间局部性的限制,实现更全局的 Token 交互。核心创新在于证明随机分组在保持计算效率的同时,能提供更强的全局上下文建模能力,优于基于空间邻近性的分组。相比 Swin Transformer 的窗口注意力,随机分组避免了局部窗口对长程依赖的阻碍,提升了模型在图像分类和密集预测任务中的性能。这一工作挑战了“局部性”在视觉 Transformer 中的必要性,为设计更灵活的高效注意力机制提供了理论支持。
Semantic Head Specialization Guides Hybrid ViT Attention(He et al., 2026, P27)提出一种基于语义头部专业化(SHS)的分析框架,旨在指导混合 Vision Transformer 注意力机制的设计。该方法通过计算前景/背景注意力热图,量化 ViT 注意力头在对象分割中的专业化程度,并发现特定头部在高层层中表现出强烈的语义选择性。核心模块包括 SHS-Index 指标,用于连续、方向无关地测量头部对前景对象的关注程度。分析表明,全注意力模型中的头部专业化程度与混合注意力模型的性能密切相关,为选择局部或全局注意力层提供了依据。这一工作将注意力头行为分析与架构设计相结合,揭示了语义理解与计算效率之间的内在联系。该研究为多模态 LLM 中的视觉编码器优化提供了指导原则,强调了语义结构在高效注意力设计中的重要性。
Interpolation between Convolution and Attention via K-Nearest Neighbors(Kang, 2026, P25)提出一种通过 K 最近邻(K-NN)实现卷积与注意力之间插值的理论框架,旨在统一这两种视觉架构的基本操作。该方法将卷积视为基于空间邻近性的邻居选择,将注意力视为基于特征相似性的邻居选择,并通过 K-NN 机制在两者之间进行连续插值。核心模块包括相似度计算、邻居选择和加权聚合,允许模型动态调整局部与全局聚合的比例。相比固定架构,这种插值方法提供了更灵活的归纳偏置控制,使模型能根据任务需求平衡局部细节与全局语义。这一工作为理解卷积和注意力的统一性提供了数学基础,并展示了 K-NN 在高效视觉建模中的潜力。该研究为设计自适应混合架构提供了理论依据,有助于优化模型在不同视觉任务中的表现。
理论分析与表征路线与高效注意力机制路线存在指导关系。理论分析路线通过揭示 ViT 内部表征的结构与注意力头的语义专业化现象,为高效注意力机制的设计提供了理论依据与可解释性洞察。例如,SHS-Index 指标指导了混合注意力机制中局部/全局注意力的选择,而 K-NN 插值框架则为卷积与注意力的统一提供了数学基础。两者协同实现了从经验驱动到理论驱动的架构设计转变。
2.6 跨任务与多领域应用
ViT 架构创新已从单一的图像分类任务扩展至视频编码、医学影像、边缘部署等多领域应用。在视频编码领域,HFViT(Sharma and Paul, 2026, P24)通过卷积-层级注意力 Transformer 混合架构加速 HEVC 编码器的 CU 分区预测,显著降低了计算复杂度,同时保持了分区决策的准确性。在医学影像领域,VariViT(Varma et al., 2026, P15)通过支持可变图像尺寸,解决了标准 ViT 固定输入尺寸导致的裁剪和缩放信息损失问题,特别适用于感兴趣区域大小不一的医学影像场景。在边缘部署领域,Hybrid CNN-ViT NAS for TinyML(Djajapermana et al., 2025, P7)通过硬件感知 NAS 搜索空间,自动发现能在微控制器上运行的最优混合架构,解决了手动设计混合模型耗时且难以优化的问题。这些应用表明,ViT 架构创新已超越学术基准,成为解决实际工程问题的关键工具。
3. 关键共识、分歧与开放问题
3.1 领域共识
自注意力机制是捕获长程依赖的关键,但其二次方复杂度是限制 ViT 在高分辨率应用中的主要瓶颈,这一共识在约 25 篇论文中得到共同支持。预训练-微调范式的优势在多个基准上被反复验证:EVCC 的 90.21 与 ReGLA-L 的 84.3 均大幅超越经典 ViT-B/16 的 81.8,表明架构创新与预训练策略的结合是提升性能的核心路径。与此相关的另一个共识是 CNN 的局部归纳偏置对于数据效率至关重要,纯 Transformer 架构在小数据场景下表现不如 CNN,约 15 篇论文共同支持这一观点。IBiT 的 74.2 与 HAViT 的 59.07 在 ImageNet-1K 上的表现,虽低于混合架构,但其在 CIFAR-100 上的 75.74 表明,通过引入归纳偏置可显著提升小数据场景下的性能。层级化结构是 ViT 适应密集预测任务的必要条件,约 12 篇论文共同支持这一共识,EVT-B 在 ADE20K 上的 52.7 mIoU 与 AdaptViG-B 的 46.0 AP box 在 MS-COCO 上的表现,均验证了层级化结构在密集预测任务中的有效性。
3.2 观点分歧
局部性归纳偏置的必要性是领域内的核心分歧之一。Swin Transformer 与 CoSwin 强调空间窗口局部性的重要性,认为窗口注意力能有效捕获局部细节并降低复杂度;而 Random Wins All 与 Interpolation via K-NN 则证明随机分组或基于特征相似性的邻居选择可提供更强的全局上下文建模能力,挑战了局部归纳偏置的绝对地位。现有证据偏向随机分组在分类任务上可能优于空间窗口,Random-Swin-B 的 83.9 与 Random-DeiT-B 的 82.5 均高于 Swin-B 的 83.5 与 DeiT-S 的 79.8,但这一结论在密集预测任务中尚未得到验证,缺乏统一基准下的全面对比。这一分歧的背后,是另一个更根本的争论:线性注意力能否完全替代 Softmax 注意力。Linear Differential ViT 与 SoLA-Vision 认为通过微分结构、层级混合或特征映射,线性注意力可在保持精度的同时实现 $O(N)$ 复杂度;而传统 Softmax 支持者则认为 Softmax 归一化提供了数值稳定性与概率解释,线性注意力在复杂任务中仍存在精度损失。现有证据偏向线性注意力在高分辨率分类任务中可行,SoLA-Vision 的 79.83 与 ReGLA-L 的 84.3 表明其在 ImageNet-1K 上具有竞争力,但在密集预测任务上的验证较少,缺乏大规模密集预测任务上的线性注意力 SOTA。
3.3 其他开放问题
最紧迫的工程问题是自动化确定线性注意力和 Softmax 注意力在层级的分配策略,解决手动搜索最优混合配置效率低且计算成本高的问题。当前 Post-Training Attention Search 通过束搜索实现自动化,但其计算成本仍较高,且依赖预训练模型的质量。最根本的研究问题是递归/参数共享机制与独立参数化层的理论关系,缺乏对递归深度与任务复杂度的理论解释。bViT 与 Soft Mixture-of-Recursions 在参数效率上具有优势,但其表征能力的理论边界尚不明确。此外,非欧几里得图像和可变尺寸输入的适配仍是开放问题,VariViT 虽解决了固定输入尺寸的限制,但其在非欧几里得图像上的泛化能力尚未验证。已知—争议—未知认知图谱显示,ViT 架构创新在效率与精度的平衡上已取得显著进展,但局部性必要性、线性注意力替代性及递归机制理论关系仍是核心争议,非欧几里得输入适配与自动化搜索泛化性是主要未知领域。
4. 总结与展望
Vision Transformer 架构创新的核心矛盾在于自注意力的全局建模优势与二次方计算复杂度、空间归纳偏置缺失之间的张力。早期研究通过层级化窗口注意力(Swin Transformer)解决高分辨率效率瓶颈,通过混合 CNN 模块(EVCC, CoSwin)弥补数据效率不足,通过递归机制(bViT, Soft Mixture-of-Recursions)提升参数效率,通过自动化搜索(TAS-LoRA, Post-Training Attention Search)实现硬件约束下的最优部署。这些路线在计算效率、精度保持与数据效率之间做出了不同取舍,形成了当前多元并存的方法格局。核心瓶颈在于缺乏统一的效率-精度权衡基准,以及局部性必要性、线性注意力替代性等根本分歧尚未解决。
未来可能突破的方向包括:开发可学习的策略以自动确定线性注意力和 Softmax 注意力在层级的分配,解决手动搜索最优混合配置效率低且计算成本高的问题,这一方向由 Post-Training Attention Search 与 TAS-LoRA 共同指向;将递归计算和参数高效架构扩展到高分辨率输入和密集预测任务,解决当前主要在中等分辨率分类基准上验证的局限性,这一方向由 bViT 与 Soft Mixture-of-Recursions 共同指向;探索跨帧层次注意力机制以预测 HEVC 等视频编码中的帧间模式分区,解决当前主要关注帧内分区的局限,这一方向由 HFViT 与 VariViT 共同指向。对于进入者,最值得做的一件事是在统一骨干与统一预训练条件下,系统评测不同架构路线在效率-精度权衡上的表现,以建立公平的比较基准,为后续研究提供可靠的基础。
以上为节选,完整内容见ArxivReview