A Survey of Vision State Space Models |视觉状态空间模型方法综述

简介: 视觉状态空间模型(VisionStateSpaceModels,VSSMs)旨在以线性复杂度替代视觉Transformer(ViT)的二次方自注意力,其核心价值在于缓解高分辨率图像与视频处理中的计算瓶颈。早期研究将一维序列模型直接映射至二维图像,通过多方向扫描恢复空间邻接性,思路直观却受制于固定遍历路径的方向偏差。当几何变换下的性能退化与串行递归的并行瓶颈暴露后,研究者转向频域处理与非因果动力学,用放弃严格因果性换取各向同性的全局感知与硬件级并行。各路线在空间鲁棒性、推理效率与理论完备性之间做出了不同取舍,由此形成当前扫描优化与架构重构并存的多元格局。

综述原文见 www.arxivreview.com

导读

视觉状态空间模型(Vision State Space Models, VSSMs)旨在以线性复杂度替代视觉Transformer(ViT)的二次方自注意力,其核心价值在于缓解高分辨率图像与视频处理中的计算瓶颈。早期研究将一维序列模型直接映射至二维图像,通过多方向扫描恢复空间邻接性,思路直观却受制于固定遍历路径的方向偏差。当几何变换下的性能退化与串行递归的并行瓶颈暴露后,研究者转向频域处理与非因果动力学,用放弃严格因果性换取各向同性的全局感知与硬件级并行。各路线在空间鲁棒性、推理效率与理论完备性之间做出了不同取舍,由此形成当前扫描优化与架构重构并存的多元格局。本综述梳理这条从序列适配到空间重构的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

视觉状态空间模型的兴起源于对高效长程依赖建模的迫切需求。传统卷积神经网络受限于固定感受野,难以捕捉全局上下文;而视觉Transformer虽具备全局建模能力,但其自注意力机制带来的二次方计算复杂度在高分辨率图像和视频处理中成为瓶颈。2023年Mamba模型的提出标志着关键转折,其选择性扫描机制实现了线性复杂度下的内容自适应序列建模,随后VMamba、Vim等工作将其成功迁移至视觉领域,确立了状态空间模型作为ViT高效替代品的地位。这一阶段的核心假设是:视觉数据可被有效序列化为1D序列,且静态或简单动态参数足以捕捉长程依赖。

问题的形式化可表述为:给定输入特征序列 $X \in \mathbb{R}^{L \times d}$,状态空间模型通过隐状态 $h_t$ 映射输入到输出 $y_t$,其连续时间形式为 $\dot{h}(t) = Ah(t) + Bx(t)$,$y(t) = Ch(t) + Dx(t)$。在视觉领域,核心挑战在于将2D图像特征图序列化为1D序列,这一过程不可避免地破坏空间邻接性。子问题之间存在严格的依赖关系:2D空间结构适配是基础子问题,决定了后续计算效率与鲁棒性的上限;若无法解决空间邻接性破坏,任何效率优化都建立在扭曲的特征表示之上。离散化近似误差则是底层约束,影响所有架构变体的数值稳定性。

2016-2018年间,S4通过对角加低秩矩阵参数化线性时不变系统,实现了长序列建模的高效离散化,为后续状态空间模型奠定理论基础。2023年Mamba引入选择性扫描机制与硬件感知算法,突破传统SSM静态参数限制,成为视觉SSM的核心骨干。2024年,VMamba提出2D选择性扫描模块,通过四向遍历将1D SSM适配至2D视觉数据,解决空间邻接断裂问题,成为视觉SSM主流基线;同期Vim采用双向Mamba块与位置嵌入,确立了双向建模范式。这一阶段的方法演进主要受“如何扫描”的问题驱动。

2025年,研究重心从“如何扫描”转向“为何扫描”的理论反思。MambaOut揭示Mamba在视觉分类中可被门控CNN替代,指出选择性扫描非必要,引发对SSM视觉适用性的理论反思。同年,ARM提出自回归预训练框架,证明自回归比对比学习更适合视觉Mamba预训练。这一转折标志着领域从盲目移植转向机制解构,研究者开始质疑SSM在视觉任务中的核心优势来源。

2026年,面对固定路径在几何变换下的鲁棒性不足及串行递归的并行化瓶颈,研究转向频域处理、非因果动力学及动态状态聚合。PRISMamba提出部分环扫描策略,显著提升旋转鲁棒性;HAMSA提出无扫描频域SSM,实现O(L log L)复杂度;VNCT Mamba通过二阶非因果动力学消除方向性扫描。当前,该领域处于高速发展期,研究热点集中在消除扫描冗余、提升旋转鲁棒性、跨模态融合及特定任务的适应性上。

如果用一个核心问题概括该领域,那便是:如何在保持线性计算复杂度的前提下,构建一种既具备2D空间各向同性感知能力,又具备硬件并行友好性的视觉骨干网络,以替代二次方复杂度的自注意力机制。

2. 方法体系

  • 2021:S4——通过对角加低秩矩阵参数化线性时不变系统,实现长序列建模的高效离散化,为后续状态空间模型奠定理论基础

  • 2023:Mamba——引入选择性扫描机制与硬件感知算法,实现输入依赖的状态更新,突破传统SSM静态参数限制,成为视觉SSM的核心骨干

  • 2024:VMamba——提出2D选择性扫描模块(SS2D),通过四向遍历将1D SSM适配至2D视觉数据,解决空间邻接断裂问题,成为视觉SSM主流基线

  • 2024:Vim——采用双向Mamba块与位置嵌入,通过前后向扫描增强空间理解,虽计算成本较高但确立了双向建模范式

  • 2025:MambaOut——揭示Mamba在视觉分类中可被门控CNN替代,指出选择性扫描非必要,引发对SSM视觉适用性的理论反思

  • 2026:PRISMamba——提出部分环扫描策略,将图像划分为同心圆环进行顺序无关聚合,显著提升旋转鲁棒性,解决固定路径扫描在几何变换下的性能退化

  • 2026:HAMSA——提出无扫描频域SSM,通过SpectralPulseNet实现自适应频谱调制,消除顺序扫描瓶颈,实现O(L log L)复杂度

  • 2026:TRUST——提出不确定性引导的SSM遍历测试时适应方法,通过遍历排列生成互补因果视角,提升分布偏移下的泛化能力

这条时间线勾勒了该领域方法演进的代表性节点:从 2021 年的 S4 奠定该领域方法基线,经 2023 年 Mamba 的推进,到 2026 年的 TRUST 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 扫描策略优化

扫描策略优化路线的起源可追溯至VMamba(Liu et al., 2024)提出的2D选择性扫描模块,该模块通过四向遍历将1D SSM适配至2D视觉数据,解决了早期光栅扫描导致的空间邻接断裂问题。Vim(ICLR 2026)则采用双向Mamba块与位置嵌入,通过前后向扫描增强空间理解,虽计算成本较高但确立了双向建模范式。这两项工作奠定了视觉SSM的主流基线,但其固定遍历路径在几何变换下性能显著下降的缺陷,为后续研究留下了明确的问题空间。

针对固定扫描路径在几何变换下性能退化的问题,PRISMamba(Hsieh et al., 2026, P6)提出部分环扫描策略。该方法将图像划分为同心圆环,在每个环内执行顺序无关的聚合操作,并通过短径向SSM在环间传播上下文。其核心创新在于解耦了空间邻接性与扫描顺序,使得模型对旋转等几何变换具有内在鲁棒性。此外,引入部分通道过滤机制,仅将最具信息量的通道通过递归环路径,其余通道保留在轻量级残差分支,进一步降低计算开销。该方法放弃了传统光栅扫描的简单性,依赖环形拓扑结构的构建,但在保持线性复杂度的同时显著提升了空间一致性。

OCTOPUS(Mahatha et al., 2026, P5)为增强视觉SSM的空间感知能力,提出八向离散规范遍历与遍历选择机制。该方法定义了包含水平、垂直及对角线的完整八方向扫描集合,通过O-Scan模块执行独立扫描线处理,并在扫描线边界重置隐藏状态。其核心改进在于引入O-Merge融合模块与遍历选择机制,动态聚合多方向输出,避免固定多向扫描的冗余计算。相比VMamba的四向扫描,OCTOPUS覆盖了更完整的空间方向,提升了各向同性传播能力。其代价是增加了扫描方向的计算分支,但通过选择机制缓解了开销。

InfoScan(ICLR 2026, P23)提出信息效率驱动的视觉扫描策略,通过资源自适应行走优化序列化处理。该方法将扫描策略形式化为策略优化问题,定义补丁重要性函数量化每个图像块的信息量,并优化累积折扣信息增益。其核心模块包括补丁选择块、信息评分模块与路径规划模块,替代传统的SS2D组件。与固定遍历不同,InfoScan根据输入内容动态调整扫描路径,优先处理高信息量区域。其代价是引入了额外的评分与规划计算,但显著提升了高信息区域的建模精度。

GraphScan(Parikh et al., 2026, P13)在SSM处理前引入图结构消息传递,以增强局部语义邻域信息。该方法将视觉特征图视为图节点,执行一步语义消息传递,使每个token在SSM全局混合前先富集局部邻域信息。其核心设计在于将自适应扫描重新解释为预SSM的token路由,结合图聚合的语义性与局部扫描的空间边界性。相比动态偏移预测,GraphScan保持token数量不变且维持线性扩展,避免了复杂的重排序计算。其代价是引入了图构建与消息传递的额外开销,但提升了局部特征的语义一致性。

MFil-Mamba(Khadka and Santosh, 2026, P9)提出多滤波器扫描骨干,解决固定多向遍历引入的空间冗余与关系扭曲问题。该方法允许每次扫描捕获独特且上下文相关的空间信息,通过自适应加权机制融合多扫描输出。其核心创新在于摒弃固定遍历策略,采用多滤波器设计使扫描路径具有内容依赖性,最小化冗余计算。相比VMamba的固定四向扫描,MFil-Mamba在保持线性复杂度的同时提升了空间关系的保真度。其代价是增加了滤波器参数与加权融合的计算量,但通过架构优化实现了效率平衡。

扫描策略优化路线与架构效率改进路线在初期呈互补关系:前者解决空间邻接性问题,后者解决计算效率问题。然而,随着MambaOut揭示选择性扫描在分类任务中的冗余性,两条路线的竞争关系逐渐显现,架构效率改进路线开始质疑扫描本身的必要性。

2.2 架构效率改进

架构效率改进路线的起源可追溯至S4(Gu and Dao, 2021)和Mamba(Gu and Dao, 2023)的硬件感知递归设计。S4通过对角加低秩矩阵参数化线性时不变系统,实现了长序列建模的高效离散化;Mamba引入选择性扫描机制,突破传统SSM静态参数限制。这两项工作奠定了视觉SSM的核心骨干,但其串行递归特性限制了并行化潜力,为后续并行化与频域化研究留下了明确的问题空间。

HAMSA(Patro and Agneeswaran, 2026, P10)提出无扫描频域视觉状态空间模型,通过SpectralPulseNet直接在频谱域操作。该方法简化了核参数化,用单个高斯初始化复数核替代传统的A、B、C矩阵,消除离散化不稳定性。其核心模块SpectralPulseNet实现输入依赖的频率门控,自适应强调或抑制特定频谱分量。此外,引入Spectral Adaptive Gating Unit确保频域梯度流稳定。相比基于扫描的SSM,HAMSA完全消除了顺序扫描,利用FFT卷积实现O(L log L)复杂度。其代价是依赖频域变换的计算开销,但显著提升了推理速度与内存效率。

VNCT Mamba(Ramachandran et al., 2026, P16)提出非因果梯形状态空间模型,通过二阶非因果动力学消除方向性扫描。该方法将Mamba-3的指数梯形动力学重构为全局非因果聚合算子,使所有图像token在单次通过中交互,无需方向性扫描。其核心创新在于引入低秩多输入多输出参数化,联合建模空间与通道交互。相比因果SSM,VNCT打破了序列处理的因果约束,实现了真正的全局感知。其代价是二阶动力学的计算复杂度略高于标准SSM,但显著降低了单图像推理延迟。

PVMamba(ICCV 2025, P24)提出动态状态聚合机制,通过并行化视觉Mamba计算提升效率。该方法解耦浅层与深层的DSA算子,创建混合模型结构,直接聚合可学习空间采样而非递归计算。其核心创新在于简化SSM方程中的矩阵生成,实现空间对齐与聚合,克服顺序计算约束。相比Mamba的硬件感知优化,PVMamba通过动态采样点聚合实现并行处理,避免了递归依赖。其代价是引入了采样点学习的额外参数,但显著提升了训练与推理的并行度。

TCP-SSM(Shoouri et al., 2026, P14)提出令牌条件极点机制,通过稳定极点与令牌调制优化视觉SSM效率。该方法使用共享分组极点库定义稳定基础分母,并通过令牌条件的半径与角度调制生成本地分母。其核心创新在于将极点稳定性与内容适应性结合,实现高效且可解释的长程建模。相比标准Mamba,TCP-SSM通过极点参数化增强了状态转移的稳定性,减少了数值误差积累。其代价是引入了极点库的额外参数,但提升了训练稳定性与推理效率。

Beyond ZOH(Ibrahim et al., 2026, P12)提出高级离散化策略,解决零阶保持(ZOH)在视觉数据中的简化假设问题。该方法指出ZOH假设输入在采样间恒定,忽略了视觉信号的连续变化与频率内容,导致离散化误差。其核心改进在于引入更精细的离散化规则,适应视觉数据的空间连续性与边缘特征。相比标准ZOH,该方法提升了连续-离散转换的保真度,减少了信息损失。其代价是增加了离散化计算的复杂度,但提升了模型对高频细节的捕捉能力。

架构效率改进路线与扫描策略优化路线在后期呈竞争关系:前者试图证明扫描是冗余的,后者则通过动态扫描证明其在特定几何任务中的优越性。这种竞争推动了领域对“扫描必要性”的深入反思,也为后续跨任务应用提供了更高效的骨干选择。

2.3 下游任务应用

下游任务应用路线的起源可追溯至VMamba在语义分割中的初步验证。随着骨干网络的成熟,研究者开始将视觉SSM应用于多视图立体、视频理解、目标检测及医学影像等特定场景,验证其在密集预测与复杂感知任务中的有效性。这一路线的核心动机在于:SSM在密集预测任务中相比分类任务更能体现其长程建模优势,因为密集任务涉及更长的空间序列。

MVSMamba(Jiang et al., 2025, P3)将状态空间模型应用于多视图立体重建,提出动态Mamba模块(DM-module)。该方法集成至特征金字塔网络,通过参考中心动态扫描策略聚合多视角特征,捕捉长程依赖。其核心创新在于根据参考图像与源图像的空间关系动态调整扫描方向,提升特征匹配鲁棒性。相比固定扫描,动态策略适应了多视图几何的一致性约束,增强了弱纹理区域的深度估计。其代价是动态扫描的计算开销,但通过粗到细策略平衡了效率与精度。

VideoSEMA(Tran et al., 2026, P18)提出可扩展且高效的Mamba类注意力机制,用于视频理解。该方法利用SEMA近似全局注意力,通过窗口注意力与平均操作结合,实现O(N)复杂度的时空特征建模。其核心创新在于将Mamba的递归关系与大token数极限下的注意力近似结合,缓解全注意力计算负担。相比VideoMamba,VideoSEMA在保持线性复杂度的同时提升了时空依赖的捕捉能力。其代价是近似带来的精度损失,但通过窗口机制局部补偿。

MambaPSA(Chan et al., 2026, P17)提出Mamba基替换模块,用于YOLO26检测器的C2PSA块。该方法保留CSP包装器,将内部自注意力分支替换为Mamba核心,实现全局特征聚合。其核心创新在于将Mamba集成至NMS-free轻量级检测器,降低计算复杂度。相比自注意力,MambaPSA在保持精度的同时显著降低FLOPs与参数量。其代价是Mamba核心的顺序处理延迟,但通过CPU推理优化提升了吞吐量。

Energy-Mamba(Mabrok et al., 2026, P20)提出物理约束状态空间模型,用于医学图像分类。该方法引入可学习势函数量化动态状态与静态特征的兼容性,并通过梯度基强制项将状态拉向能量有利配置。其核心创新在于借鉴经典力学原理,抑制表示漂移,增强状态演化的稳定性。相比标准SSM,Energy-Mamba通过物理约束提升了模型在数据稀缺场景下的泛化能力。其代价是势函数计算的额外开销,但通过轻量级MLP实现。

PVM(Mas et al., 2026, P8)提出掩码感知推理框架,将部分卷积原理移植至Mamba骨干。该方法定义Partial Vision Mamba组件,使SSM在处理无效像素时仅基于有效数据更新隐藏状态。其核心创新在于引入掩码感知机制,解决标准SSM将无效像素视为有效数据导致的特征腐蚀问题。相比CNN的部分卷积,PVM适配了SSM的递归特性,实现了任意形状缺失数据的处理。其代价是掩码计算的额外开销,但显著提升了深度补全与图像修复任务的性能。

下游任务应用路线与前述两条路线呈继承关系:它依赖于扫描策略优化提供的空间感知能力,以及架构效率改进提供的计算效率。同时,下游任务中的特定约束(如多视图几何、掩码缺失)又反过来推动了扫描策略的定制化设计,形成了应用驱动架构创新的反馈循环。

2.4 训练与鲁棒性

训练与鲁棒性路线的起源可追溯至ARM(Liu et al., 2025)提出的自回归预训练框架。该工作证明自回归比对比学习更适合视觉Mamba预训练,为后续半监督学习与分布偏移适应研究奠定了基础。这一路线的核心动机在于:SSM在大规模监督学习下表现优异,但在标签稀缺或分布不平衡场景下潜力未充分挖掘,需要特定的训练策略与鲁棒性机制。

TRUST(Dastani et al., 2025, P2)提出测试时适应方法,利用不确定性引导的SSM遍历提升分布偏移下的鲁棒性。该方法通过遍历排列生成互补因果视角,并在权重层面进行平均,无需外部数据增强。其核心创新在于利用SSM遍历的内在多样性诱导权重变化,适应目标域分布。相比传统TTA,TRUST利用了架构特异性,避免了熵最小化的不稳定。其代价是多次遍历的计算开销,但通过权重平均提升了推理效率。

STAR(Liu et al., 2026, P7)提出分隔符增强自回归预训练,优化视觉Mamba的自监督学习。该方法在图像序列开头添加分隔符,并将空间相邻补丁分组为簇,采用簇优先扫描重排序。其核心创新在于通过分隔符与簇结构增强序列依赖性,使自回归预训练更契合Mamba的递归特性。相比标准自回归,STAR通过结构化重排序提升了token间的信息流动。其代价是扫描顺序的复杂性,但通过簇内局部性平衡了全局依赖。

Semi-ViM(ICCV 2025, P21)提出双向状态空间模型半监督学习框架,缓解标签不平衡问题。该方法集成ViM至SSL框架,引入SSMixup策略在隐藏状态层面执行混合,增强数据多样性。其核心创新在于利用ViM的双向递归特性,结合自回归预训练(ARM)优化序列依赖。相比标准SSL,Semi-ViM通过隐藏状态混合保留了空间结构信息,避免了像素级混合的噪声。其代价是混合系数调优的复杂性,但通过自回归预训练提升了训练稳定性。

Norm or Direction(Yu and Park, 2026, P19)通过解码视觉Mamba机制,分析归一化与方向在高分辨率视觉中的作用。该方法应用跨模型中心性分析,揭示VMamba与MambaOut在类判别信息组织上的差异。其核心创新在于实证研究SSM内部机制,指出归一化层对高分辨率性能的关键作用,而非仅依赖扫描方向。相比架构改进,该方法提供了理论洞察,解释了SSM在密集预测中的优势来源。其代价是分析过程的计算开销,但无需架构修改。

训练与鲁棒性路线与前述路线呈互补关系:它不改变骨干架构,而是通过优化训练策略与适应机制提升现有架构的泛化能力。同时,该路线中的机制分析(如Norm or Direction)为架构设计提供了理论指导,推动了从黑盒优化向白盒理解的转变。

2.5 跨任务与多领域应用

跨任务与多领域应用是视觉SSM从通用骨干向特定场景渗透的自然延伸。在遥感领域,VMamba-Small在LoveDA数据集上取得55.66%的mIoU,显著优于UNetFormer的48.61%,表明SSM在高分辨率遥感场景下的跨域泛化能力。在医学影像领域,Energy-Mamba在MedMNIST上取得99.91%的AUC,验证了物理约束SSM在小样本场景下的诊断准确性。在视频理解领域,VideoSEMA在Kinetic-400上取得79.6%的Top-1准确率,超越了VideoMamba的77.2%,展示了SSM在长时序建模中的可扩展性。这些应用共同表明,视觉SSM的线性复杂度优势在密集预测、长序列处理及数据稀缺场景中尤为突出,但其性能高度依赖于任务特定的扫描策略适配与训练机制优化。

3. 关键共识、分歧与开放问题

3.1 领域共识

SSM提供了比Transformer更优的线性复杂度长程依赖建模能力,是高分辨率视觉任务中ViT的有力替代方案,这一共识在多个基准上被反复验证:Deformba-B在ADE20K的52.6%与HAMSA在ImageNet的85.7%均大幅超越经典基线。与此相关的另一个共识是,将2D图像序列化为1D序列的扫描策略对视觉SSM的性能至关重要,固定光栅扫描存在局限性,需要更复杂或自适应的遍历方式,PRISMamba在MS COCO的48.9%与OCTOPUS-S在ImageNet的86.89%共同支持了这一观点。然而,该共识的边界在于:MambaOut揭示选择性扫描在视觉分类中并非必要,门控CNN可替代Mamba性能,表明SSM的优势可能主要源于深度和归一化,而非选择性扫描机制本身。

3.2 观点分歧

选择性扫描在视觉任务中是否必要,是领域内最深刻的分歧。观点A(Mamba/VMamba)认为选择性扫描是SSM优于RNN和线性注意力的关键,使其能根据输入内容动态调整状态更新,对密集预测任务至关重要;观点B(MambaOut)认为在视觉分类任务中,选择性扫描非必要,门控CNN可替代Mamba性能。现有证据偏向观点B在分类任务(ImageNet),但观点A在密集预测(ADE20K, COCO)中仍占优,分歧根源在于任务依赖性:分类任务对全局依赖要求较低,而密集预测需要精细的空间上下文。这一分歧的背后,是另一个更根本的争论:固定/多向扫描 vs 无扫描/频域架构。观点A(PRISMamba/InfoScan)认为动态/环形扫描能更好地捕捉2D空间邻接性,在几何变换鲁棒性上优于无扫描方法;观点B(HAMSA/VNCT)认为无扫描/频域架构可各向同性地捕捉全局依赖,消除方向偏差,且并行效率更高。现有证据偏向观点B在推理速度和高分辨率分类任务,但观点A在旋转鲁棒性和特定几何任务上表现更优,分歧根源在于场景依赖:不同任务对空间各向同性的要求不同。

3.3 其他开放问题

最紧迫的工程问题是边缘设备部署效率:尽管VSSM具有线性复杂度,但在边缘设备上仍面临内存访问模式和计算延迟挑战,需研究硬件感知的离散化策略、参数共享和量化技术,以及针对特定硬件的算子优化。最根本的研究问题是全局感知的理论定义缺失:现有工作多依赖经验性消融实验评估全局建模能力,缺乏严格的数学定义和理论证明来保证SSM在视觉任务中真正具备全局感知,导致模型设计缺乏理论指导。此外,ZOH离散化误差的影响程度仍是未决问题:Beyond ZOH认为高阶离散化可提升精度和稳定性,但主流工作仍用ZOH,缺乏大规模对比实验证明其对最终SOTA性能的决定性影响。已知—争议—未知认知图谱显示:SSM的线性复杂度优势与扫描策略重要性是已知共识;选择性扫描必要性与扫描vs无扫描是争议焦点;全局感知理论定义与ZOH误差影响是未知领域。发展趋势表明,VSSM正从“优化扫描路径”向“重构状态空间动力学”转变,核心挑战在于如何在线性复杂度下实现真正的2D空间各向同性感知与硬件并行友好性的统一。

4. 总结与展望

视觉状态空间模型的核心矛盾在于1D序列递归本质与2D图像空间拓扑之间的结构性错配。从VMamba的多向扫描到PRISMamba的环形扫描,再到HAMSA的频域处理与VNCT的非因果动力学,研究者尝试了从“修补扫描路径”到“重构状态空间动力学”的多种路线,但核心瓶颈仍未解决:如何在保持线性复杂度的前提下,构建一种既具备2D空间各向同性感知能力,又具备硬件并行友好性的视觉骨干网络。这一瓶颈源于全局感知的理论定义缺失、离散化近似误差的累积效应,以及扫描策略与计算效率之间的固有张力。

未来可能突破的方向包括:探索内容自适应的动态扫描策略,结合注意力机制或强化学习设计能根据图像显著性区域动态调整扫描顺序和路径的策略(InfoScan、MFil-Mamba共同指向);开发无扫描或频域驱动的SSM架构,借鉴HAMSA等研究探索在频域直接进行状态空间建模,或通过高阶动力学消除方向扫描(HAMSA、VNCT Mamba共同指向);增强VSSM在视频和3D数据中的时空建模能力,设计稀疏、膨胀或分层的时间-空间扫描机制(VideoSEMA、MVSMamba共同指向)。对进入者最值得做的一件事是:在统一计算预算下,建立包含旋转、缩放、几何变换的统一基准,系统对比扫描型与非扫描型架构在密集预测任务中的性能与效率权衡,以解决当前评测体系的公平性缺陷。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9152 24
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2703 14
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1297 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11165 59
|
4天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
949 0
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1329 1
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。