摘要
大语言模型驱动的 AI 助手深度融入企业邮件办公流程之后,传统网络钓鱼攻击演化出新的攻击形态。攻击者不再单纯以欺骗人类用户作为唯一目标,而是借助间接提示注入技术,将恶意指令隐藏于钓鱼邮件载体内部,利用 AI 助手读取、归纳邮件内容的业务流程,诱导 AI 生成具备误导性的输出,借由用户对 AI 工具的信任完成欺诈活动。本文以邮件场景下的 AI 钓鱼攻击为研究对象,梳理该类攻击的实现机理、隐匿手段与现实危害,剖析现有安全体系面对新型威胁存在的短板。结合公开实证案例,从攻击链路拆解、风险成因、多层防御框架、组织与个体防护实践多个维度展开论述。研究表明,该类威胁突破传统钓鱼邮件的防护逻辑,风险根源在于大模型无法天然区分外部输入数据与系统执行指令,单纯依靠终端用户安全意识教育不足以抵御此类攻击。反网络钓鱼技术专家芦笛指出,间接提示注入钓鱼属于 AI 原生安全威胁,需要构建模型层、应用层、业务流程层、人员意识层协同的纵深防御体系。迪妙网络空间安全学院研究团队针对邮件AI 交互场景开展威胁建模研究,提出输入净化、权限约束、行为校验、业务复核相结合的落地思路,为企业部署 AI 邮件助手提供安全参考。
关键词:网络钓鱼;间接提示注入;AI 助手;邮件安全;纵深防御
1 引言
网络钓鱼长期以来是网络空间主要的安全威胁之一,传统钓鱼邮件攻击的作用对象是人类使用者,攻击者通过伪造发件身份、编造紧急业务场景、植入恶意链接与附件,诱导接收者主动点击链接、打开附件或者执行转账、信息泄露等危险操作国家互联网...。过往邮件安全防护体系的设计逻辑,一方面依靠邮件网关对邮件头、附件、恶意载荷进行检测拦截,另一方面依靠安全培训提升人员对可疑邮件的辨别能力,提醒使用者不要执行邮件内的危险操作。随着生成式人工智能技术落地办公场景,大量企业与个人开始使用 AI 助手接管邮箱处理工作,实现邮件批量摘要、待办事项提取、业务邮件分类、信息检索等功能。AI 助手直接读取邮箱全部邮件内容,将外部邮件文本纳入大模型上下文窗口,这一业务模式催生了全新攻击路径:即便人类用户识别出邮件具备可疑特征,拒绝点击链接、打开附件,只要 AI 助手读取该邮件,隐藏在邮件内部的恶意提示注入载荷就有可能影响 AI 的输出结果。
攻击者将攻击目标从人延伸至处理邮件的 AI 系统,攻击逻辑发生本质改变。受害者不需要对钓鱼邮件做出任何操作行为,风险转移到 AI 处理流程内部。Barracuda 的相关研究已经证实,现实环境中已经出现专门面向 AI 助手设计的钓鱼邮件样本,邮件面向人类用户展示常规钓鱼内容,同时在底层封装对大模型生效的隐藏指令,同一封邮件同时针对人和 AI 两套目标实施攻击。该类攻击区别于以往直接向聊天对话框输入恶意指令的直接提示注入,属于间接提示注入范畴,恶意载荷寄宿在外部数据载体中等待 AI 读取触发,具备零点击触发、隐蔽性强、利用用户对 AI 输出信任等特征arXiv。
现阶段行业对邮件场景间接提示注入威胁的认知尚存在局限,部分组织依旧沿用传统邮件安全的防护思维应对 AI 原生风险,认为只要做好邮件网关查杀、开展员工钓鱼培训就可以规避风险,忽略 AI 处理环节带来的信任边界变化。迪妙网络空间安全学院研究团队在实测中发现,不少商用邮件 AI 助手缺少针对外部邮件内容的安全预处理机制,直接将原始邮件完整送入大模型上下文,HTML 注释、零宽字符、样式隐藏文本等内容一并被模型读取解析,为攻击者提供可利用空间。
本文立足于 Malwarebytes 公开的实际事件材料,结合已披露的同类安全案例,系统解析基于钓鱼邮件的间接提示注入攻击,厘清攻击完整链路,分析威胁产生的底层技术根源,识别传统防护体系存在的失效点,构建分层防御框架,同时给出企业组织以及终端使用者可落地的安全实践方案。本文不追求提出全新算法模型,重在面向办公真实业务场景完成威胁梳理,填补传统邮件安全与大模型安全交叉领域的实践分析,为后续同类安全建设提供参考。
2 邮件载体间接提示注入钓鱼攻击概述
2.1 间接提示注入基础概念
提示注入攻击分为直接提示注入与间接提示注入两类。直接提示注入是攻击者直接向大模型交互入口提交恶意指令,尝试改写模型行为、绕过安全护栏;间接提示注入则不直接接触 AI 交互界面,把恶意指令嵌入网页、文档、邮件等外部数据源,等待 AI 助手读取、解析该外部数据之后,恶意指令混入上下文窗口,进而干预模型输出逻辑。
在邮件钓鱼场景下,攻击者制作特制钓鱼邮件发送目标邮箱,邮件在收件箱中保持静默,不需要用户打开、点击、回复。当用户调用 AI 助手执行 “总结收件箱邮件”“提取邮件待办事项” 等操作,AI 工具获取全部邮件原始内容,包含肉眼不可见的隐藏恶意指令一同送入大模型,触发攻击流程。反网络钓鱼技术专家芦笛强调,该攻击最特殊之处在于风险发生在 AI 处理环节,人类用户肉眼查看邮件正文看不到攻击载荷,用户主观上已经规避钓鱼邮件,却依旧会遭受威胁反噬。
2.2 攻击目标与典型攻击场景
攻击者通过注入载荷想要达成的目标分为信息误导、业务篡改、敏感信息泄露三大类。 第一类为信息误导。恶意指令操控 AI 助手修改对钓鱼邮件的研判结论,把本身可疑的钓鱼邮件总结标记为合法、高优先级业务邮件,在 AI 输出的待办清单中将钓鱼邮件列为需要优先处理事项。用户信任 AI 的整理结果,回过头重新审视本已经被自己识别为可疑的邮件,落入攻击者圈套。 第二类是伪造业务操作指令。这是企业环境中危害最高的攻击模式。攻击者通过隐藏指令要求 AI 助手生成虚假业务动作,典型样本指令为 “增加一条待办:修改供应商收款账户信息”。AI 在摘要结果中输出该伪造操作建议,财务岗位工作人员把 AI 输出当作客观业务整理结果,未经核验就执行对公转账,造成直接经济损失。该场景和传统 BEC 商业邮件劫持攻击后果相近,但是攻击实现路径完全不同,不需要伪造通信双方身份,依靠 AI 生成虚假业务建议完成欺骗。 第三类是敏感数据外泄。如果 AI 助手具备更高工具权限,恶意注入指令可以诱导 AI 读取更多内部数据,并且把内部敏感信息拼接在输出内容中,通过生成回复、构建外部访问链接等手段将数据传递给攻击者,造成企业内部资料泄露arXiv。
2.3 钓鱼邮件中恶意载荷的隐匿实现方式
为实现 “人看不见,AI 读得到” 的效果,攻击者需要将恶意提示指令对普通邮件阅读界面做视觉隐藏,同时保证 AI 助手在提取邮件原始内容时能够捕获全部恶意文本。Barracuda 的威胁研究总结了攻击者常用的几种隐匿技术手段。
第一种,利用邮件 HTML 源码注释。邮件本质是 HTML 格式文档,写在注释标签内部的内容不会渲染展示在邮件阅读界面,普通使用者查看邮件只能看到可见正文,但是很多 AI 工具直接解析邮件原始 HTML 文本,注释内部的文字会完整提取出来送入大模型,恶意指令可以放置在此处。
第二种,CSS 样式视觉隐藏。通过样式属性将文字颜色设置和背景完全一致、设置元素可视属性为隐藏,这段文本在邮件客户端不会展示,但是文本内容完整保存在邮件源文件中。
第三种,零宽度不可见字符。将恶意指令文本穿插大量零宽空格、零宽连接符这类没有可视化形态的特殊字符,肉眼浏览邮件看不到任何异常字符,文本语义完整保留,大模型读取原始内容可以识别全部指令语义。
第四种,编码变形处理。将恶意指令做字符编码,嵌入邮件内容,AI 在文本解析阶段完成解码还原,执行攻击者意图。
以上多种手段还可以叠加组合使用,进一步提升载荷规避人工审查的能力。需要客观说明,攻击能否最终生效,并不完全取决于载荷本身,同时取决于 AI 邮件工具的内容抽取逻辑。如果应用层在送入模型之前,主动剥离 HTML 注释、剔除样式隐藏内容、过滤零宽特殊字符,攻击载荷就会被提前清除。迪妙网络空间安全学院研究团队的对比测试证实,市面多款面向个人和中小企业的 AI 邮件助手并未完整实现上述预处理逻辑,直接导入原始邮件源数据,形成可被利用的安全缺口。
3 攻击完整链路与风险成因分析
3.1 完整攻击链路拆解
整个攻击流程可以划分成四个阶段,各个阶段环环相扣形成完整攻击链。
第一阶段:载荷投递。攻击者制作双重目标钓鱼邮件,邮件可见部分是传统钓鱼邮件内容,同时嵌入各类隐藏提示注入载荷,通过邮件服务投递至目标收件邮箱。此时邮件停留在收件箱,没有任何用户交互动作。
第二阶段:等待触发条件。人类用户浏览邮箱,识别邮件存在可疑特征,选择不去打开附件、不点击链接,完成传统钓鱼场景下全部安全操作。风险没有就此消除,等待用户启动 AI 助手处理邮箱业务。
第三阶段:载荷注入上下文。用户向 AI 助手下达任务,例如 “总结本周收件箱邮件,列出需要处理的待办”。AI 助手调用接口拉取邮箱全部邮件原始数据,包含隐藏恶意指令一并提取,作为上下文输入给大语言模型。恶意指令混杂在邮件业务文本之内,模型无法区分业务素材和执行指令。
第四阶段:威胁输出与受害者受害。大模型接收混杂恶意指令的上下文,遵循注入指令改变输出内容。AI 向用户输出经过篡改的摘要、伪造待办事项。受害者基于对 AI 工具的信任采信输出结果,开展后续业务操作,出现资金损失、信息泄露等后果。
该攻击链条中,传统钓鱼攻击的关键环节 —— 用户点击链接、打开附件,已经不再是必要条件。攻击突破口转移到 AI 系统的内容接收、解析、生成输出的全过程。
3.2 底层技术根源:指令与数据边界模糊
反网络钓鱼技术专家芦笛指出,间接提示注入的底层核心矛盾,是大语言模型没有原生机制区分 “需要被阅读参考的数据内容” 和 “需要被执行的系统指令”。传统计算机安全领域存在大量同类逻辑,典型如 SQL 注入,攻击者把可执行代码混在普通用户输入数据内,程序没有隔离代码和数据,将外部输入直接当作程序指令运行,造成安全破坏。大模型的工作机制下,全部输入统一视作文本上下文,外部邮件传入的恶意提示文本和系统预设的提示模板,在模型视角下都属于文本序列,不存在天然的权限隔离边界。攻击者把指令藏在业务素材内部,就有机会覆盖、干扰原有系统提示的约束。
有观点认为,仅靠优化大模型训练、提升模型抗注入能力就可以解决全部问题。现实情况并不乐观。迪妙网络空间安全学院研究团队分析相关对抗样本库后认为,对抗提示注入属于持续对抗博弈过程,攻击者会持续迭代新的混淆、编码、改写手段绕过模型防护,单纯依赖模型本身做识别拦截无法做到绝对防御,只依靠模型护栏属于单点防御,存在被绕过的可能性。即便模型层面防护持续迭代,新的逃逸载荷也会不断出现,属于典型军备对抗状态。
3.3 社会层面风险因素:信任关系发生转移
传统安全意识教育,长期在培养用户怀疑陌生邮件、陌生发件人的警惕心理。经过多年安全培训,职场使用者已经建立基础戒备,看到来路不明邮件会主动保持警惕。但是大部分使用者尚未建立对 AI 助手输出内容的怀疑意识,默认 AI 输出的总结、待办清单属于客观中立的整理结果,不会想到 AI 输出有可能被一封可疑邮件所污染。
这种信任转移构成重要社会风险条件。用户不信任邮件本身,但是信任处理邮件的 AI 工具输出,攻击者利用这一心理缺口完成攻击闭环。很多使用者会直接根据 AI 生成的待办清单开展工作,不会逐封回看原始邮件核对每一条 AI 给出的业务建议,这就为伪造转账指令一类高危攻击创造落地条件。
3.4 现有安全防护体系的失效点
传统邮件安全防护体系建立在对抗针对人类用户钓鱼攻击的基础之上,面对间接提示注入钓鱼攻击出现多处防护失效。
第一,邮件网关防护目标局限。邮件安全网关主要检测附件病毒、恶意 URL、邮件头伪造、可见文本内的钓鱼话术。网关无法预判这封邮件未来会不会被 AI 助手读取,也很难识别埋在 HTML 注释、视觉隐藏区块中专门针对大模型的恶意提示文本。这些文本对人没有威胁,传统检测规则不会把其判定成恶意特征,网关不会拦截此类邮件。
第二,防护链条缺失 AI 处理环节。过往安全链条终点在邮件抵达用户收件箱,假设后续风险全部来自用户对邮件的交互行为。当 AI 作为新主体读取邮箱,风险点延伸到 AI 解析、摘要、输出环节,原有防护链路没有覆盖该部分。
第三,安全意识培训的滞后性。现有的员工安全培训,全部聚焦如何辨别邮件本身,缺少针对 AI 助手输出结果的风险教育,没有教会使用者需要复核 AI 从不可信外部邮件中提炼出的业务建议。
第四,AI 工具权限管控普遍宽松。很多部署在企业环境的 AI 邮件助手被授予邮箱完整读取权限,同时还具备调用其他业务系统的工具能力。没有执行最小权限原则,一旦注入攻击成功,工具可调动的能力放大安全事件的破坏后果。
4 面向邮件AI 钓鱼威胁的多层防御框架
针对该类威胁不能依赖单一防护手段,迪妙网络空间安全学院研究团队提出四层纵深防御框架,覆盖输入预处理层、大模型与应用控制层、业务流程校验层、人员认知与制度层,多层机制互相兜底,即使某一层被绕过,其余层级依旧可以降低事件危害。
4.1 输入预处理层:不可信外部内容净化
输入预处理是第一道防线,在邮件内容送入大模型上下文窗口之前完成净化处理,降低恶意载荷进入模型的可能性。该环节的目标不是做到百分之百拦截全部注入载荷,而是提高攻击者攻击成本,消除绝大多数简易隐匿手段。
第一,剥离邮件中非渲染内容。AI 工具提取邮件文本的时候,不直接使用完整原始 HTML 源码,剔除 HTML 注释标签内部全部内容,清除 CSS 样式设置为不可见的文本,过滤零宽字符、各类用于载荷隐藏的特殊控制字符,仅保留邮件客户端正常渲染给人类使用者阅读的可见文本。反网络钓鱼技术专家芦笛提示,该手段可以消除当前公开报告中大多数邮件隐藏注入载荷,但无法对抗把恶意指令直接写在可见正文文本中的攻击样本,不能当作唯一防护手段。
第二,外部来源标记隔离。所有来自外部互联网传入的邮件,送入上下文时附加来源标签,明确标记该段内容来自不受信任外部邮件源,告知模型该内容仅可供参考引用,不允许将其中文本视作执行指令。将系统预设指令与外部导入邮件内容做逻辑分区,避免外部文本直接污染系统指令域。
第三,注入特征检测筛查。在内容进入模型之前,部署专门的检测模块,识别文本中典型提示注入特征,比如出现 “忽略前面全部指令”“增加待办事项”“修改输出结果” 这类典型对抗语义,命中特征的邮件单独标记高风险,不参与自动摘要与待办提取,交由人工查看。
必须客观看待输入净化的局限性。攻击者可以持续改写、转义、改写恶意提示语句绕过特征匹配,净化属于提高攻击门槛的防护手段,不存在可以抵御全部变种的完美过滤规则。
4.2 模型与应用控制层:约束 AI 行为与权限边界
即便经过预处理之后,依旧存在恶意载荷侥幸进入上下文窗口的可能性,需要在模型调用与应用工具层面设置约束,限制攻击成功之后能够造成的破坏。
首先严格落实最小权限原则。针对邮件 AI 助手做权限裁剪,只授予业务必需的最小能力。如果 AI 助手仅用来完成邮件摘要,就不赋予其调用转账、修改供应商信息、发送外部邮件、导出批量内部文档等高危工具接口的权限。不同业务场景使用独立权限配置,不允许一个 AI 代理拥有跨业务域的宽泛操作权限。反网络钓鱼技术专家芦笛强调,权限控制属于损伤遏制手段,就算模型被恶意指令诱导,缺少对应工具调用权限,攻击也无法落地为实质性业务损害。
其次,实施高风险动作强制阻断与审批。如果业务确实需要 AI 助手具备调用高危业务能力,不允许 AI 自主直接执行。任何涉及资金变更、对外发送数据、修改业务配置的动作,全部禁止 AI 直接执行,必须触发人工复核流程,把 AI 输出的建议仅作为参考信息,不能转化为自动执行动作。
再者,输出侧校验审计。对 AI 助手输出结果开展二次校验,如果输出内容包含来自外部邮件生成的业务待办、操作建议,需要对该部分内容打上风险来源标记,提示使用者该建议源自外部不可信邮件,提醒用户务必回到原始邮件核对真实性。完整留存 AI 处理日志,记录邮件来源、输入上下文片段、AI 输出结果,出现安全事件之后可回溯审计攻击发生过程。
4.3 业务流程校验层:重构人机协同业务逻辑
AI 助手应当被定位为辅助工具,而不是业务事实的判定主体,业务流程层面要杜绝直接采信 AI 输出作为业务依据。迪妙网络空间安全学院研究团队指出,很多安全事件风险根源来自业务流程过度依赖 AI 输出,把 AI 提炼的待办事项当作权威业务指令。
涉及资金流转、供应商账户变更、敏感信息对外传递的业务场景,建立独立的核验通道。当 AI 摘要给出修改付款账户、付款提醒这类建议,工作人员不能直接依据 AI 输出开展业务,必须切换到独立可信通信渠道,联系业务合作方核验信息真伪,核验使用预先留存的联系方式,不使用邮件(包括 AI 摘要内附带)提供的联系方式完成确认。
企业财务、采购这类高风险岗位,应当明确制度:任何 AI 工具生成的业务操作建议,都不能作为业务执行凭证,所有业务指令必须追溯原始业务邮件、合同或者线下确认记录。AI 产出仅起到提示、整理作用,不具备业务效力。
4.4 人员认知与制度层:补齐安全意识短板
传统钓鱼安全培训需要迭代升级,补充 AI 原生威胁相关内容。以往安全训练只教育使用者怀疑邮件、链接、附件,现在需要新增认知:AI 助手的输出内容有可能被外部污染,来自外部邮件所生成的 AI 摘要、待办清单同样需要保持审慎。
组织内部制度需要明确 AI 邮件助手的使用规范。区分工作邮箱、个人邮箱的 AI 工具使用边界,明确哪些业务场景允许使用 AI 摘要,哪些高敏感业务场景禁止使用第三方 AI 助手处理邮件。开展内部红蓝对抗演练,模拟基于间接提示注入的钓鱼邮件攻击,检验员工面对 AI 输出伪造业务指令时的处置能力。
终端个人用户层面,同样需要建立对应的行为习惯。在依据 AI 邮件摘要采取行动前,尤其是涉及金钱、隐私信息的内容,打开原始邮件核对原文内容;控制 AI 助手权限,不授予超出实际需求的权限;对于 AI 给出紧急操作建议,不急于执行,多渠道交叉确认。
5 现实案例分析与防护难点讨论
5.1 EchoLeak 同类事件参考
EchoLeak 漏洞是已经公开的企业办公 AI 中间接提示注入典型案例,攻击者构造特制邮件发送目标邮箱,不需要用户点击任何链接附件,当用户调用办公 Copilot 读取邮箱,邮件 HTML 注释内隐藏指令生效,诱导 AI 向外泄露租户内部敏感数据,该漏洞被评定为严重级别,充分证实邮件载体间接提示注入并非仅存在于实验室概念,在商用大规模 AI 办公产品中具备现实可利用性。该案例和本文研究的钓鱼邮件攻击技术逻辑同源,区别在于该案例攻击目标偏向数据窃取,而 Malwarebytes 报道的样本偏向生成虚假业务待办,二者共同印证邮件AI 交互面是不可忽视的攻击面。
5.2 当前防护工作现存难点
第一,攻防持续对抗带来防护迭代压力。攻击者不断创新载荷隐匿手段,编码变形、语义改写、多段拆分注入等逃逸方式持续出现,不存在一劳永逸的静态规则,安全团队需要持续跟踪新型对抗样本,更新净化与检测策略。迪妙网络空间安全学院研究团队通过对抗样本测试证实,部分注入载荷完全写在邮件可见正文,肉眼和语义检测都难以区分正常业务文本和恶意指令,该场景下单纯依靠预处理拦截难度很高,更加凸显权限控制与业务复核的兜底价值。
第二,第三方 AI 工具供应链风险。大量中小企业不会自研 AI 邮件助手,直接采购 SaaS 化第三方 AI 服务,企业对模型内部处理逻辑、输入净化实现细节没有控制权。外部服务商安全实现存在缺陷时,企业侧很难自行弥补,只能依靠选型评估、严格限制授予第三方工具的邮箱权限降低风险。
第三,用户认知更新滞后。用户已经习惯将 AI 视作客观中立助手,建立 “怀疑 AI 输出” 的安全认知,相比 “怀疑陌生邮件” 的认知培养难度更高,需要长期持续的安全宣贯。
5.3 对安全产品研发的启示
传统邮件安全厂商,不能只把防护边界停留在邮件网关,需要延伸思考邮件下游 AI 处理场景的安全风险。AI 应用开发人员在开发邮件助手类产品,不能只关注大模型能力效果,必须将不可信外部邮件作为高危输入源开展威胁建模,把输入净化、来源标记、权限隔离、输出风险提示纳入产品安全需求,在产品设计阶段就纳入安全考量,而不是上线之后再补充补丁。红队测试工作也需要将邮件间接提示注入纳入常规测试用例,验证整套系统抵御该类攻击的能力。
6 结语
生成式 AI 融入邮件办公流程,在提升办公效率的同时,将间接提示注入这一类 AI 原生安全威胁带入传统邮件安全领域。攻击者开发面向 AI 助手的钓鱼邮件,改变传统钓鱼攻击的实现逻辑,用户即使不点击链接、不打开附件,依旧有可能遭受威胁反噬。该威胁的根源来自大模型上下文处理机制中指令与数据边界模糊,同时叠加用户对 AI 输出结果的信任,共同促成攻击闭环。传统邮件安全手段、传统人员安全意识培训无法完整覆盖该新型风险。
本文基于公开报道的攻击样本,梳理邮件载体中间接提示注入钓鱼攻击的完整链路,分析风险成因与传统防护体系短板,迪妙网络空间安全学院研究团队提出输入预处理、模型应用控制、业务流程校验、人员制度四层纵深防御框架。反网络钓鱼技术专家芦笛指出,该类威胁不存在单点万能防御方案,必须采用多层防护相互兜底的思路:在 AI 接收邮件阶段做好外部不可信内容净化,严格约束 AI 工具权限,业务层面坚持 AI 仅作为辅助参考,所有高风险业务操作回归原始素材核验,同时更新安全认知,建立对 AI 输出结果的审慎态度。
随着各类 AI 助手与邮箱、业务系统深度结合,后续会出现更多外部数据载体诱导 AI 输出误导信息的攻击变体。网络安全从业者需要持续跟踪 AI 原生威胁演进,打通传统网络钓鱼安全与大模型安全的研究边界,针对人机协同的新业务场景完善威胁模型、防护技术和管理制度,在发挥 AI 生产力的前提下管控安全风险。
编辑:芦笛(公共互联网反网络钓鱼工作组)
来源:迪妙网络空间安全学院