导读
多模态大语言模型(Multimodal Large Language Models, MLLMs)通过整合视觉编码器与语言模型,实现了跨模态推理能力的飞跃,但视觉通道的引入也显著扩大了攻击面。早期研究聚焦于文本安全对齐,然而视觉指令微调往往削弱了底层语言模型的安全护栏,导致模型对跨模态提示注入和对抗性扰动极度敏感。2023 至 2024 年是该领域的关键转折期,从单纯的文本越狱研究迅速转向多模态对抗攻击,揭示了视觉通道绕过文本过滤器的新路径。2025 至 2026 年,研究重心从单一攻击手段转向系统性安全评估与防御机制的深层机理探索,重点关注神经元级别的安全对齐与跨模态表示漂移。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从外部过滤到内部机理的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
多模态大语言模型的安全问题并非文本安全的简单延伸,而是视觉模态引入后攻击面指数级扩张与内部安全机制漂移的结构性矛盾。在纯文本大语言模型中,安全对齐主要依赖基于人类反馈的强化学习(RLHF)或直接偏好优化(DPO),旨在使模型拒绝有害请求。然而,当视觉编码器接入后,模型需要处理图像中的排版文本、纹理噪声以及隐含的视觉语义,这些输入往往绕过了针对纯文本设计的过滤器。视觉指令微调过程虽然赋予了模型跨模态推理能力,却常常破坏底层语言模型原有的安全护栏,导致模型在理解图像内容时未能将其与安全风险关联,出现“安全感知失败”。
这一结构性矛盾的核心在于“模态间隙”(Modality Gap),即视觉嵌入与文本嵌入在安全语义空间中的分布差异。文本安全机制通常基于语义理解构建,而视觉输入经过编码器后形成的特征分布与文本特征存在固有偏差,使得文本侧的安全约束无法有效覆盖视觉输入。这种偏差导致模型对图像中隐含的恶意指令(如排版注入)极度敏感,而对良性但边界模糊的视觉查询又可能产生过度拒绝(Over-refusal)。因此,多模态安全对齐的本质问题是如何在视觉与文本嵌入空间存在固有分布差异的前提下,构建一种既能抵御跨模态对抗扰动,又能保持细粒度推理效用且不过度拒绝的动态安全机制。
从子问题依赖关系来看,解决模态间隙导致的对齐失效是基础,只有弥合了表示层的偏差,才能有效设计跨模态防御机制。同时,攻击的隐蔽性(如后门、排版注入)依赖于对模型内部表示漂移的理解,而评估基准的碎片化则阻碍了对上述子问题的统一量化。当前领域面临的核心挑战包括:闭源模型的黑盒防御困境、多语言与多模态的安全泛化不足,以及安全性与效用之间的平衡难题。这些问题相互交织,构成了多模态安全研究的复杂图景。
在问题形式化方面,多模态越狱攻击通常被定义为在给定视觉输入 $x_v$ 和文本提示 $x_t$ 的情况下,构造对抗性输入 $(x_v', x_t')$,使得模型 $M$ 生成有害响应 $y$,即 $M(x_v', xt') = y{harmful}$。攻击成功率(ASR)是衡量攻击有效性的核心指标,而拒绝率(Refusal Rate)和过度拒绝率(Over-Refusal Rate)则用于评估防御机制的有效性与副作用。
回顾约束演化史,2016 至 2018 年,少样本学习与度量学习奠定了模型泛化能力的基石,但彼时安全对齐尚未成为独立研究方向。2020 年前后,随着大语言模型的兴起,文本越狱攻击(如 GCG)开始受到关注,确立了梯度优化在对抗攻击中的核心地位。2023 至 2024 年是多模态安全的转折期,FigStep 等工作揭示了视觉排版注入的新路径,SafeMLLM 则引入了对抗训练以增强鲁棒性。2025 年,研究重心转向推理时对齐与内部机理,VisuoAlign 提出基于树搜索的动态安全对齐,SafeNexus 则揭示了神经元级别的安全机制。2026 年,领域进入细化与融合阶段,Mosaic 解决了闭源模型的黑盒攻击难题,Q-MLLM 通过量化架构阻断梯度攻击,SafeNexus 等可解释性研究为安全修复提供了微观基础。
如果用一个核心问题概括该领域,那便是:如何在视觉与文本嵌入空间存在固有分布差异的前提下,构建一种既能抵御跨模态对抗扰动与提示注入,又能保持细粒度推理效用且不过度拒绝的动态安全对齐机制。
2. 方法体系
2023:GCG——通过梯度引导搜索生成非语义对抗后缀,确立白盒越狱攻击基准范式
2024:FigStep——将有害指令渲染为图像排版文本,揭示视觉通道绕过文本过滤器的新路径
2024:SafeMLLM——采用对抗训练框架增强 MLLM 对越狱攻击的鲁棒性
2025:VERA-V——提出变分推理框架,利用视觉推理语义连续性绕过安全护栏
2025:VisuoAlign——嵌入安全约束到推理过程,通过 MCTS 实现主动风险检测
2026:Mosaic——针对闭源 VLM 提出多视图集成优化框架,解决黑盒攻击梯度不可用问题
2026:Q-MLLM——引入两级向量量化架构,从架构层面阻断基于梯度的攻击路径
2026:SafeNexus——发现并引导模态通用的安全神经元,提供可解释性安全干预微观基础
这条时间线勾勒了该领域方法演进的代表性节点:从 2023 年的 GCG 奠定该领域方法基线,经 2024 年 FigStep 的推进,到 2026 年的 SafeNexus 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 多模态越狱攻击
多模态越狱攻击旨在通过构造恶意多模态输入绕过模型安全对齐机制,诱导其生成有害内容。早期工作如 GCG(Zou et al., 2023)确立了白盒攻击的基准范式,通过梯度引导搜索生成非语义对抗后缀,证明了在文本模态中通过优化后缀即可诱导模型生成有害内容。然而,随着视觉模态的引入,攻击面显著扩展。FigStep(Zou et al., 2024)将有害指令渲染为图像中的排版文本,利用视觉编码器将指令传递给语言模型,从而绕过纯文本安全过滤器。该攻击揭示了视觉输入作为新攻击面的脆弱性,证明了即使文本提示无害,嵌入图像的恶意文本也能诱导视觉语言模型生成有害响应。
针对闭源模型梯度不可用的难题,Mosaic(Lan et al., 2026, P24)提出了多视图集成优化框架。其核心设计思路是利用一组可访问的代理视觉语言模型来辅助优化,通过聚合多个代理模型的优化信号来指导对抗图像和文本查询的生成。Mosaic 的主要改进点在于引入了多代理集成机制,通过不同代理模型的反馈增强攻击的可迁移性,避免了单一代理模型的偏差。其核心取舍是依赖代理模型与目标模型之间的行为相似性,若代理模型与目标模型差异过大,优化信号可能失效。该方法在闭源模型上实现了高攻击成功率,代表了黑盒多模态越狱攻击的前沿方向。
VERA-V(Liao et al., 2025, P6)则从推理链角度切入,提出变分推理框架用于越狱视觉语言模型。其核心思路是利用视觉推理的语义连续性建立稳定的推理路径,从而绕过安全护栏。VERA-V 通过优化图像序列和文本提示的联合分布,将有害意图分解为子文本序列,并在视觉场景中保持强语义连贯性。其关键技术模块包括基于变分推断的图像-文本联合优化器,旨在最大化模型对有害意图的感知并建立稳定的推理链。主要改进点在于不再依赖单一的对抗扰动,而是利用多模态推理过程中的逻辑依赖关系,使攻击更具隐蔽性和鲁棒性。核心取舍是计算开销较大,需要迭代优化图像和文本以维持语义一致性,且依赖模型对视觉推理路径的依赖程度。
此外,VRSA(Zhao et al., 2025, P13)提出视觉推理序列攻击,通过优化图像序列来探索视觉推理中的潜在风险。其核心思路是生成包含有害意图的子文本序列,并构建具有强语义连续性的图像场景,帮助模型更准确地感知有害意图并建立稳定的推理路径。VRSA 的主要改进点在于利用多模态推理中的“场景-动作”逻辑链,而非简单的图像-文本配对,使攻击更符合模型的推理习惯。核心取舍是生成高质量的语义连贯图像序列需要复杂的生成模型支持,且攻击效果依赖于模型对视觉推理路径的依赖程度。
MAMJ(Cui et al., 2026, P37)提出元自适应多模态越狱框架,通过适应攻击者本身而非仅适应输入内容来提升攻击效果。其核心设计思路是利用诊断分析师-聚合器管道,在语言空间中进化攻击策略提示,并通过组相对策略优化(GRPO)更新攻击者权重,生成可迁移的攻击工件。MAMJ 的主要改进点在于实现了攻击策略和攻击者模型的双重自适应,突破了传统样本级攻击中攻击者固定的局限。核心取舍是训练过程复杂,需要大量的多模态攻击轨迹数据,且 GRPO 更新对奖励函数的设计敏感。
Defense2Attack(Zhao et al., 2025, P1)则揭示了防御与攻击之间的辩证关系,提出利用弱防御机制来增强越狱攻击效果的方法。其核心思路是将防御模式嵌入攻击管道,利用防御性的提示风格和视觉优化器来引导越狱提示设计,从而绕过安全护栏。Defense2Attack 的主要改进点在于反向利用防御机制的心理暗示作用,使模型更容易接受有害请求,而非直接对抗防御。核心取舍是依赖于目标模型对特定防御提示模式的敏感性,若模型对防御提示免疫,则攻击效果下降。
COMET(Yan et al., 2026, P16)提出跨模态纠缠攻击,通过操纵多模态推理中的注意力轨迹来诱导模型进入指令跟随模式。其核心设计思路是利用视觉线索和评分标准构建复杂的提示,使模型在整合多模态信息时产生注意力偏差,从而绕过安全检查。COMET 的主要改进点在于利用了多模态推理中“视觉-文本”纠缠的特性,通过精心设计的视觉线索引导模型的注意力,使其忽略安全约束。核心取舍是攻击效果依赖于模型对视觉线索的注意力权重,且需要复杂的提示工程来维持纠缠状态。
2.2 多模态安全防御
多模态安全防御旨在探索针对多模态越狱和对抗攻击的防御机制,包括输入净化、推理时对齐、神经元干预及鲁棒性训练。早期防御方法多依赖外部过滤器或静态规则,但难以应对复杂的跨模态攻击。SafeMLLM(2024, P40)采用对抗训练框架,交替执行攻击步骤生成对抗扰动和防御步骤优化模型参数,以增强多模态大语言模型对越狱攻击的鲁棒性。该方法通过引入对抗扰动令牌到嵌入层,实现了无需外部推理步骤的高效防御,为训练阶段的鲁棒性增强提供了新路径。
VisuoAlign(Li et al., 2025, P5)提出一种基于多模态树搜索的安全对齐框架,将安全约束嵌入推理过程。其核心设计思路是利用提示引导的蒙特卡洛树搜索(MCTS)动态探索多种推理轨迹,实现主动风险检测与自适应安全缩放。VisuoAlign 的主要改进点在于突破了静态过滤器的局限,允许模型在推理过程中实时评估安全风险,并根据风险分数动态调整推理路径。核心取舍是推理延迟增加,因为需要探索多条推理轨迹,且安全提示的设计需要精细调优以平衡安全性与有用性。
Q-MLLM(Zhao et al., 2025, P11)提出一种基于向量量化的多模态大语言模型安全架构,旨在通过离散化视觉表示来阻断对抗攻击。其核心设计思路是在像素块和语义两个层面引入两级向量量化,创建离散瓶颈,从而阻止基于梯度的攻击路径。Q-MLLM 的主要改进点在于从架构层面解决了视觉表示连续性问题,弥补了文本安全机制向视觉内容转移的不足。核心取舍是量化过程可能引入信息损失,影响模型在细粒度视觉任务上的性能,且需要额外的训练阶段来适应离散表示。
VLMShield(Qi et al., 2026, P21)提出一种高效且鲁棒的视觉语言模型防御机制,针对恶意提示进行快速检测。其核心设计思路是利用 CLIP 的聚合令牌作为特征,通过多模态聚合特征扩展来解决 CLIP 的长文本限制和模态融合缺失问题。VLMShield 的主要改进点在于实现了高效的实时防御,无需修改模型参数,且能够处理长文本提示。核心取舍是依赖于 CLIP 预训练特征的判别能力,若恶意提示在 CLIP 特征空间中与良性提示重叠,则检测效果下降。
ReFrame(Jiang et al., 2026, P35)提出一种测试时安全对齐框架,通过证据引导的输入重构来增强多模态模型的安全性。其核心设计思路是利用两个代理共享一个轻量级本地部署的多模态大语言模型,其中一个生成风险与效用证据,另一个将其转换为安全代理提示和图像路由决策。ReFrame 的主要改进点在于无需修改模型或访问其内部信息,适用于闭源模型,且能同时提升越狱防御、安全意识和降低过度敏感。核心取舍是依赖于本地轻量级多模态大语言模型的推理能力,若本地模型能力不足,证据生成质量可能受限。
Agentic Moderation(Ren et al., 2025, P8)提出一种多代理设计用于更安全视觉语言模型,通过协调多个安全代理来应对复杂的多模态越狱。其核心设计思路是利用代理框架的动态推理能力,解释和协调跨模态的安全执行,而非仅依赖二元分类。Agentic Moderation 的主要改进点在于引入了推理能力,使防御系统能够处理隐式、组合或上下文依赖的对抗意图,超越了传统过滤器的局限。核心取舍是系统复杂性增加,需要维护多个代理和协调逻辑,且推理延迟可能高于单模型防御。
GuardAlign(Zhu et al., 2026, P17)提出一种基于最优传输的测试时安全对齐方法,用于检测多模态输入中的恶意语义。其核心设计思路是利用最优传输度量视觉和文本表示之间的差异,显式建模跨模态相关性,以检测图像中可能被忽略的有害语义。GuardAlign 的主要改进点在于解决了视觉和文本表示未良好对齐的问题,通过最优传输度量捕捉模态间的语义偏差,从而识别潜在的安全风险。核心取舍是最优传输计算开销较大,且需要预定义提示来引导检测过程,若提示设计不当,可能影响检测准确性。
2.3 安全基准与评估
安全基准与评估旨在构建多模态安全评估基准、数据集及自动化红队测试框架,用于量化模型在对抗场景下的鲁棒性与漏洞。早期基准如 JailBreakV-28K(2024)构建了包含 20,000 个文本越狱提示和 8,000 个图像示例的大规模数据集,覆盖多种攻击策略,填补了多模态越狱评估中数据规模与多样性不足的空白。
PHANTOM(Gallivanone et al., 2026, P29)提出一个大规模多模态对抗攻击数据集,旨在全面评估视觉语言模型在对抗提示下的鲁棒性。其核心设计思路是整合现有基准的攻击策略,并扩展攻击的多样性和规模,涵盖视觉和文本模态的多种组合。PHANTOM 的主要改进点在于提供了比现有基准更广泛的风险类别和攻击类型,填补了多模态对抗评估中的数据空白。核心取舍是数据生成成本高,且部分攻击样本可能过于复杂,导致评估结果受攻击难度影响较大。
MMJailBench(Wang et al., 2026, P36)提出一个因子化基准,用于解耦多模态越狱漏洞,通过控制变量来评估模型在不同模态配置下的安全行为。其核心设计思路是将有害意图、提示框架、视觉语义和指令载体分解为独立因子,构建受控的测试实例,以隔离不同因素对攻击成功率的影响。MMJailBench 的主要改进点在于提供了细粒度的漏洞分析,揭示了相同有害意图在不同语言或视觉上下文下的不同安全行为,超越了聚合评估的局限。核心取舍是数据构建复杂,需要精心设计因子组合,且评估结果可能受因子交互效应影响。
Lingua-SafetyBench(Shi et al., 2026, P15)提出一个多语言视觉语言模型安全评估基准,旨在揭示多语言和多模态交叉点上的安全漏洞。其核心设计思路是构建多语言对齐的多模态数据,评估模型在不同语言和资源水平下的安全对齐表现。Lingua-SafetyBench 的主要改进点在于揭示了多语言安全对齐的结构性局限,证明了高资源语言的安全机制难以泛化到低资源语言,且多模态输入加剧了这一差距。核心取舍是数据构建需要多语言专家参与,且评估结果可能受语言资源不平衡影响。
OmniSafeBench-MM(Jia et al., 2025, P14)提出一个统一的多模态越狱攻击-防御评估基准和工具箱,涵盖 13 种攻击方法和 15 种防御方法。其核心设计思路是整合现有的攻击和防御方法,提供三维评分协议,衡量有害性、对齐性和细节性,以全面评估模型的安全性能。OmniSafeBench-MM 的主要改进点在于提供了标准化的评估环境,解决了现有基准中攻击和防御方法不统一的问题,便于横向比较。核心取舍是评估过程计算开销大,且三维评分协议需要人工校准以确保准确性。
VLSU(Palaskar et al., 2025, P7)提出一个映射联合多模态理解极限的基准,旨在评估视觉语言模型在联合图像-文本安全理解方面的能力。其核心设计思路是构建包含单独安全但联合有害的图像-文本对,以及边界查询,以测试模型对联合语义的安全感知。VLSU 的主要改进点在于揭示了现有评估方法忽略联合语义安全的问题,证明了单独模态的安全机制无法保证联合输入的安全性。核心取舍是数据构建需要精细的语义设计,且评估结果可能受模型对联合语义的理解能力影响。
OutSafe-Bench(Yan et al., 2025, P10)提出一个多模态冒犯内容检测基准,旨在全面评估多模态大语言模型在内容安全方面的表现。其核心设计思路是构建跨越四种模态的大规模数据集,包含超过 18,000 个双语样本,覆盖毒性语言、偏见图像、隐私泄露和有害错误信息。OutSafe-Bench 的主要改进点在于提供了模态覆盖和内容级别安全评估的全面性,填补了现有基准在模态多样性和内容细粒度上的空白。核心取舍是数据标注成本高,且不同模态的评估标准可能不一致。
2.4 后门与数据投毒
后门与数据投毒研究针对多模态大模型的后门攻击、数据投毒及其防御,关注触发器隐蔽性、跨模态传播及模型内部机制。MTAttack(Wang et al., 2025, P9)提出一种针对大型视觉语言模型的多目标后门攻击,旨在通过植入多个触发器实现多种恶意行为。其核心设计思路是在微调阶段生成 N 个后门触发器,使模型在检测到特定视觉或文本模式时执行不同的恶意输出。MTAttack 的主要改进点在于突破了单目标后门攻击的局限,证明了多触发器可以同时激活多种恶意行为,增加了检测难度。核心取舍是触发器设计复杂,需要平衡多个目标的激活概率,且可能影响模型在良性输入上的性能。
Concept-Guided Backdoor Attack(Shen et al., 2025, P12)提出一种概念引导的后门攻击,在语义概念层面而非原始像素层面操作,以提升隐蔽性。其核心设计思路是利用自然图像中的显式概念作为触发器,仅当样本包含目标概念时才注入恶意输出,否则模型行为正常。该攻击的主要改进点在于利用了语义概念的抽象性,使触发器更难被像素级防御检测,且保持了模型在良性输入上的正常行为。核心取舍是依赖于概念检测的准确性,若概念检测失败,攻击可能失效,且概念瓶颈模型的训练成本较高。
Phantasia(Tran et al., 2026, P22)提出一种上下文自适应后门攻击,旨在生成更隐蔽、更难以检测的后门触发器。其核心设计思路是动态调整后门响应的模式,使其与上下文语义保持一致,而非使用固定、易识别的模式。Phantasia 的主要改进点在于证明了现有视觉语言模型后门攻击的隐蔽性被高估,通过自适应响应显著提升了攻击的隐蔽性,使其更难被基于模式匹配的防御检测。核心取舍是响应生成器需要强大的语义理解能力,且自适应过程可能增加推理延迟。
CBV(Guo et al., 2026, P25)提出一种基于扩散模型的干净标签后门攻击,旨在无需标签操纵即可在视觉语言模型中植入后门。其核心设计思路是利用扩散模型生成包含触发器的图像,同时保持标签与干净样本一致,从而避免标签不一致带来的检测风险。CBV 的主要改进点在于解决了干净标签后门攻击中触发器隐蔽性与攻击有效性的平衡问题,证明了扩散模型可以有效生成高隐蔽性的触发器。核心取舍是扩散模型生成图像的计算成本高,且触发器的隐蔽性可能受扩散模型质量影响。
TokenSwap(Zhang et al., 2025, P2)提出一种针对大型视觉语言模型组合理解的后门攻击,通过交换文本令牌来注入后门。其核心设计思路是在训练数据中交换特定文本令牌,使模型在检测到特定文本模式时生成恶意输出,同时保持视觉输入的完整性。TokenSwap 的主要改进点在于利用了文本模态的组合性,证明了即使视觉输入干净,文本令牌的交换也可导致恶意输出,扩展了后门攻击的攻击面。核心取舍是依赖于文本令牌的语义重要性,若交换的令牌对语义影响小,攻击效果可能下降。
Programmable Backdoor in VLMs(Lin et al., 2026, P34)提出一种可编程后门攻击,使攻击者可以通过触发器任意控制模型的输出。其核心设计思路是设计一种触发器,使得模型在检测到触发器时,可以根据触发器的参数生成任意指定的输出,而非固定的恶意行为。该攻击的主要改进点在于实现了后门的“可编程性”,使攻击者可以动态调整恶意行为,增加了防御的难度。核心取舍是触发器设计复杂,需要确保参数化触发器的隐蔽性和稳定性,且输出映射模块可能增加推理延迟。
2.5 隐私与遗忘安全
隐私与遗忘安全探讨多模态模型中的隐私泄露风险、机器遗忘机制及其鲁棒性,防止敏感信息通过视觉或文本通道泄露。VisualLeakBench(Wang et al., 2026, P18)提出一个审计大型视觉语言模型在个人身份信息(PII)泄露和社会工程方面脆弱性的基准。其核心设计思路是使用合成对抗图像和真实截图,评估模型在光学字符识别(OCR)注入和上下文 PII 泄露场景下的表现。VisualLeakBench 的主要改进点在于揭示了视觉语言模型在处理包含敏感信息的视觉内容时,即使文本提示无害,也可能通过视觉通道泄露隐私,填补了多模态隐私安全评估的空白。核心取舍是合成图像可能无法完全代表真实世界的 PII 分布,且评估结果可能受图像质量影响。
One Modality to Forget Them All(Balaji et al., 2026, P30)提出一种增强跨模态遗忘的方法,旨在通过单模态遗忘数据实现跨模态的知识移除。其核心设计思路是利用影响引导的块选择,从单模态遗忘数据中识别对跨模态知识有影响的模型参数,并进行针对性更新。该方法的主要改进点在于解决了多模态遗忘数据构建成本高的问题,证明了单模态遗忘可以有效移除跨模态知识,提升了遗忘的效率和可行性。核心取舍是依赖于影响分析的准确性,若影响估计偏差,可能导致遗忘不彻底或过度遗忘。
On the Robustness of Machine Unlearning for VLMs(Lin et al., 2026, P28)提出一种评估视觉语言模型机器遗忘鲁棒性的方法,旨在测试遗忘机制在对抗攻击下的稳定性。其核心设计思路是构建对抗性遗忘攻击,试图通过特定输入恢复已被遗忘的知识,以评估遗忘的鲁棒性。该方法的主要改进点在于揭示了现有遗忘机制在对抗攻击下的脆弱性,证明了遗忘不仅需要从模型中移除知识,还需要确保其无法被恢复。核心取舍是攻击器设计复杂,需要针对特定遗忘机制进行定制,且评估结果可能受攻击强度影响。
Leave My Images Alone(Shao et al., 2026, P23)提出一种通过视觉提示注入防止多模态大语言模型分析图像的方法,旨在保护图像隐私。其核心设计思路是图像所有者应用保护性扰动,作为视觉提示注入攻击,使恶意行为者在使用多模态大语言模型分析图像时失败。该方法的主要改进点在于从图像所有者角度提供了主动防御机制,证明了视觉提示注入可用于隐私保护,而非仅用于攻击。核心取舍是扰动可能影响图像对人类用户的可用性,且需要平衡隐私保护与图像质量。
To See is Not to Learn(Zhao et al., 2026, P26)提出一种保护多模态数据免受大型视觉语言模型未经授权微调的方法,旨在防止数据被用于训练恶意模型。其核心设计思路是引入不可学习示例,通过修改数据引入虚假捷径,使模型拟合保护样本但泛化到干净输入的能力差。该方法的主要改进点在于从数据侧提供了主动防御机制,证明了不可学习示例可以有效阻止未经授权的数据利用,保护数据隐私。核心取舍是数据修改可能影响数据对人类用户的可用性,且需要平衡抑制效果与数据质量。
Defeating Cerberus(Zhang et al., 2025, P3)提出一种概念引导的隐私泄露缓解方法,旨在通过修改模型权重来限制 PII 相关任务的性能。其核心设计思路是利用概念方向向量,通过线性组合修改模型权重,使模型在 PII 相关任务上表现下降,而在无关任务上保持效用。该方法的主要改进点在于从模型内部机制层面提供了隐私泄露缓解方案,证明了概念引导的权重修改可以有效限制 PII 泄露,且无需额外计算成本。核心取舍是依赖于概念方向提取的准确性,若方向估计偏差,可能导致缓解效果不佳或效用损失。
2.6 安全机制可解释性
安全机制可解释性从神经元、注意力及表示空间角度分析多模态安全机制,揭示跨模态安全漂移、拒绝方向及内部决策逻辑。SafeNexus(Yu et al., 2026, P31)提出一种发现并引导模态通用安全神经元的方法,旨在揭示多模态模型内部的安全机制。其核心设计思路是通过分析中间层激活幅度,发现功能特定的神经元,并利用对比数据识别模态特定的 BS-Neurons 和跨模态共享的 US-Neurons。SafeNexus 的主要改进点在于揭示了跨模态安全行为由共享神经元子集控制,证明了安全机制的模态通用性,为可解释性安全干预提供了微观基础。核心取舍是神经元发现过程计算开销大,且 LoRA 校准器需要额外训练。
JRS-Rem(Wei et al., 2026, P19)提出一种基于越狱相关表示偏移的轻量级无训练防御方法,旨在通过移除表示空间中的越狱相关成分来增强安全性。其核心设计思路是分析视觉语言模型越狱样本在表示空间中的独特聚类,识别越狱相关偏移,并通过投影移除这些偏移。JRS-Rem 的主要改进点在于提供了对视觉语言模型越狱机制的统一解释,证明了越狱样本在表示空间中形成独特聚类,且移除这些偏移可以有效防御越狱。核心取舍是依赖于表示空间分析的准确性,若偏移识别偏差,可能导致防御效果不佳。
Safety Geometry Collapse(Guo et al., 2026, P27)提出一种自适应漂移校正方法,旨在解决多模态大语言模型中安全几何结构崩溃的问题。其核心设计思路是分析多模态输入下安全表示的几何结构变化,识别安全漂移,并通过自适应校正恢复安全几何结构。该方法的主要改进点在于揭示了多模态输入导致安全几何结构崩溃的现象,证明了安全漂移是多模态安全漏洞的根源,为安全对齐提供了几何视角。核心取舍是几何分析计算开销大,且校正过程可能影响模型效用。
Do VLMs Share Safety Neurons Across Modalities?(Li et al., 2026, P38)提出一种研究视觉语言模型是否跨模态共享安全神经元的方法,旨在揭示多模态安全机制的神经元级结构。其核心设计思路是利用探针式筛选和平均激活修补,识别文本和视觉模态的安全神经元,并通过迭代消融暴露备份神经元。该方法的主要改进点在于回答了视觉语言模型骨干是否使用相同局部安全神经元处理视觉和文本危害的问题,证明了安全神经元在模态间共享,为安全机制解释提供了微观证据。核心取舍是神经元识别过程复杂,且需要大量数据支持。
Transfer Safety Awareness(Xiao et al., 2026, P39)提出一种转移安全感知以解决跨模态安全漂移的方法,旨在通过转移文本安全感知到跨模态风险输入来增强安全性。其核心设计思路是提取有害文本诱导的激活方向,并将其转移到跨模态风险输入,以引发拒绝行为。该方法的主要改进点在于揭示了跨模态安全漂移的机制,证明了文本安全感知可以转移到跨模态输入,为安全对齐提供了新策略。核心取舍是方向转移可能影响模型效用,且需要精细调优以平衡安全性和有用性。
Multimodal Model Diffing(Batra et al., 2026, P33)提出一种多模态模型差异分析框架,用于发现和控制多模态模型中的特征。其核心设计思路是通过训练多模态稀疏自编码器(SAE),识别由多模态训练适应的特征,并通过逐令牌对比点火分析发现任务特定特征。该方法的主要改进点在于提供了多模态模型内部特征的发现和控制方法,证明了多模态训练会重新分配特征,为安全机制解释提供了特征级工具。核心取舍是 SAE 训练成本高,且特征发现可能受数据分布影响。
2.7 跨任务与多领域应用
多模态安全研究不仅局限于视觉语言模型,还扩展至文档理解、自主代理及多语言场景。在文档理解领域,视觉通道常被用于嵌入排版文本,导致跨模态提示注入风险显著增加。在自主代理场景中,多模态输入的组合复杂性使得安全对齐面临更大的挑战,模型需要在多轮对话中保持安全约束。多语言场景则揭示了安全对齐数据主要集中在英语和单一模态,导致模型在低资源语言或混合模态输入下安全性能显著下降,存在系统性安全盲区。
3. 关键共识、分歧与开放问题
3.1 领域共识
视觉模态的引入显著削弱了多模态大语言模型原有的文本安全对齐机制,使其比纯文本大语言模型更脆弱,这一共识在约 60 篇论文中得到共同支持。跨模态提示注入(如图像中的排版文本)是绕过现有安全过滤器的主要有效攻击手段之一,约 45 篇论文共同支持这一观点。攻击成功率(ASR)和拒绝率(Refusal Rate)是评估多模态模型安全性的核心指标,但需结合良性查询的效用损失综合考量,约 50 篇论文共同支持。白盒攻击(基于梯度优化)在攻击效率上通常优于黑盒攻击,但黑盒攻击在针对闭源商业模型时更具实际威胁性,约 40 篇论文共同支持。现有防御机制大多依赖外部输入/输出过滤或静态规则,缺乏对模型内部安全推理过程的动态干预,导致防御鲁棒性不足,约 35 篇论文共同支持。多模态安全对齐需要解决“模态间隙”问题,即视觉嵌入与文本嵌入在安全语义空间中的不一致性,约 30 篇论文共同支持。后门攻击在多模态模型中构成严重威胁,且现有检测手段难以发现基于语义或组合理解的隐蔽后门,约 25 篇论文共同支持。测试时安全对齐(Test-time Safety Alignment)和推理时干预(Inference-time Intervention)是应对闭源模型安全挑战的有前景方向,约 20 篇论文共同支持。
3.2 观点分歧
防御的最佳介入点存在显著分歧:输入层过滤(如 VLMShield)主张轻量级外部过滤,部署成本低,适合实时场景;推理层动态对齐(如 VisuoAlign)主张在推理过程中嵌入安全约束,能处理复杂上下文,平衡安全与效用;参数层内部干预(如 SafeNexus)主张通过神经元干预从根源解决模态间隙,提供根本性修复。现有证据偏向推理层在平衡安全与效用方面表现最佳(VisuoAlign ASR 92% 且 ORR 低),但参数层在鲁棒性上更具潜力(SafeNexus ASR 90%)。输入层在效率上占优但易被绕过。哪种实验能定输赢:在自适应攻击(如 Mosaic)下的长期鲁棒性测试,以及大规模部署中的延迟-安全权衡曲线。闭源模型的普及使得参数层无法直接应用,而推理层的延迟问题在实时应用中仍是瓶颈。缺乏统一的评估协议来量化“安全-效用-延迟”三维空间的帕累托最优。
闭源模型的安全保障路径也存在分歧:外部代理重构(如 ReFrame)主张利用本地轻量级多模态大语言模型进行证据引导的输入重构,无需访问目标模型内部;黑盒攻击迁移(如 Mosaic)主张利用代理模型优化对抗样本,通过迁移性攻击闭源模型,揭示其脆弱性。现有证据表明外部代理在防御上有效(ReFrame ASR 80%),但依赖本地模型能力;黑盒攻击在攻击上高效(Mosaic ASR 75%),证明了闭源模型并非绝对安全。哪种实验能定输赢:在 GPT-4o 等顶级闭源模型上的红队测试,比较外部代理防御与黑盒攻击迁移的成功率。闭源模型的黑盒特性使得内部机理分析无法应用,导致防御手段受限。外部代理的能力上限受限于本地模型,而黑盒攻击的迁移性受限于代理模型与目标模型的行为相似性。
3.3 其他开放问题
最紧迫的工程问题是降低防御计算开销。当前防御方法(如扩散净化、多智能体)推理成本高,难点在于实时性与鲁棒性平衡,潜在路径是轻量级投影、解码级干预及神经元级微调。最根本的研究问题是增强跨模态安全对齐。现有防御多依赖文本模态,视觉安全神经元分散且难定位,难点在于视觉特征的非局部性,潜在路径是表征工程与电路断路器技术。此外,多语言多模态安全泛化不足也是关键挑战,非高资源语言下模型安全性能显著下降,难点在于语言结构差异导致的对齐失效,潜在路径是多语言安全神经元共享与跨语言迁移学习。细粒度安全评估协议、对抗自适应攻击的鲁棒防御、多模态机器遗忘的跨模态鲁棒性以及隐私保护与数据投毒防御也是重要开放问题。已知—争议—未知认知图谱显示,领域在模态间隙的根本性上达成共识,但在防御介入点和闭源模型安全路径上存在争议,而分布级红队测试和跨模态安全对齐的理论形式化仍是未知领域。
4. 总结与展望
多模态大语言模型的安全对齐是一个动态博弈过程,其核心在于弥合视觉与文本模态在安全语义空间中的鸿沟。从外部过滤到内部机理的演进反映了研究者对安全机制认知的深化,但闭源模型的黑盒困境和计算效率瓶颈仍是核心挑战。未来可能突破的方向包括:开发分布级红队测试方法,构建联合分布探索视觉语言模型漏洞;增强跨模态安全对齐,通过表征工程与电路断路器技术解决视觉安全神经元的非局部性问题;降低防御计算开销,实现轻量级投影与解码级干预。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,构建一个涵盖“安全-效用-延迟”三维空间的帕累托最优评估框架,以解决当前评测碎片化问题,为防御机制设计提供细粒度指导。
以上为节选,完整内容见ArxivReview