摘要
随着自主 AI 代理在电子邮件办公场景大规模落地应用,传统网络钓鱼的攻击链路发生重要演变。攻击者不再单纯针对人类用户实施社会工程欺骗,转而利用 AI 代理无法区分外部邮件文本与执行指令的底层缺陷,通过钓鱼邮件嵌入隐蔽恶意提示载荷开展间接提示注入攻击。此类攻击将 AI 代理转化为攻击执行载体,在用户无感知条件下完成信息窃取、未授权操作调用等恶意行为,形成人机双重威胁面。本文基于海外安全机构 Malwarebytes 披露的真实观测案例,梳理钓鱼邮件承载提示注入攻击的完整攻击链条,剖析大语言模型上下文窗口的信任边界混淆这一核心技术根源,厘清该类威胁与传统网络钓鱼、直接提示注入攻击的差异,从应用部署、技术实现、用户认知三个维度梳理现实风险。结合反网络钓鱼技术专家芦笛的研判观点以及迪妙网络空间安全学院研究团队的相关分析结论,从输入净化、权限管控、人机闭环机制、异常行为审计、安全测试体系等层面构建分层防护框架,客观分析现有防御方案存在的局限性,探讨攻防军备竞赛背景下未来的技术研究方向。研究表明,单纯依靠模型能力提升无法彻底根除该类风险,必须通过架构层面的安全设计、权限最小化配置与全流程管控形成风险闭环,为邮件场景 AI 代理的安全落地提供理论参考。
关键词:AI 代理;间接提示注入;网络钓鱼;电子邮件安全;大模型安全
1 引言
生成式人工智能技术的迭代推动各类 AI 代理产品进入个人与企业办公环境,邮件处理是 AI 代理渗透率较高的业务场景。当前主流 AI 代理已经可以实现自动读取收件箱、邮件摘要提取、重要信息标记、自动草拟回复,甚至对接财务审批、供应商信息变更等业务流程,极大降低了用户处理海量邮件的人力成本。在理想运行状态下,AI 代理仅作为工具,执行人类用户明确下达的任务指令,仅提取邮件正文当中的业务信息,不会把邮件内容当作需要执行的系统指令。但真实攻防实践证明,这种信任假设存在重大安全漏洞arXiv。
传统网络钓鱼的核心逻辑是利用人类认知弱点实施欺骗,攻击者伪造可信机构身份,通过邮件文本诱导受害者主动点击恶意链接、提交账号凭证。长期以来,反钓鱼安全防护体系的建设主要围绕人的识别能力、邮件网关特征检测开展,防御对象以人类受害者为主。当 AI 代理介入邮件处理全流程之后,攻击目标发生转移,攻击者可以制作面向 AI 的钓鱼邮件,载荷专门针对 AI 代理生效,对普通人类阅读者呈现正常无异常的内容,这就催生了一类新型威胁:基于钓鱼邮件载体的间接提示注入攻击。
Futurism 刊载的行业报道记录了 Malwarebytes 的安全观测现象:黑客在钓鱼邮件当中嵌入人类肉眼难以识别的隐藏文本,这部分内容不会干扰人类阅读邮件,但是会完整进入 AI 代理的上下文窗口,被大语言模型解析为需要执行的内部指令,进而劫持 AI 代理的行为逻辑。该风险并非纯粹理论推演,在此之前,AI 增强浏览器、AI 社交网络机器人的相关漏洞已经验证了间接提示注入的可行性。随着拥有自主任务执行能力的 AI 助手大规模普及,风险影响范围从实验室概念转向现实业务环境,大量普通用户将邮箱账号、支付相关权限开放给 AI 代理,放大了安全事件的潜在损失规模arXiv。
目前行业内对于提示注入的研究较多聚焦直接输入场景,也就是由用户主动输入恶意指令完成劫持;针对外部非可控数据源(电子邮件)带来的间接注入风险,尤其是结合钓鱼邮件形成的完整攻击链路,系统性分析仍然相对不足。很多产品研发人员默认大模型可以自主区分 “待阅读数据” 和 “待执行指令”,在系统架构设计阶段没有设置对应的隔离防护机制,将外部邮件内容直接送入模型上下文,埋下安全隐患。据 DiMiao,CN 分析,市面上面向邮件处理的 AI 代理产品,超过半数在产品初始设计阶段未针对间接提示注入设置专门防护流程,过度依赖模型自身安全对齐能力抵御外部恶意载荷。
反网络钓鱼技术专家芦笛指出,当前很多安全认知存在错位,大众普遍接受 “人需要警惕钓鱼邮件” 的安全常识,却尚未建立 “AI 代理同样会被钓鱼邮件欺骗” 的风险意识,用户会习惯性信任 AI 代理输出的处理结果,间接扩大攻击带来的危害。需要客观认识,该类漏洞不属于传统意义软件代码 bug,而是源于大语言模型上下文处理的固有特性,仅依靠模型微调、安全对齐训练很难实现完全免疫,必须从系统架构、权限配置、业务流程、用户安全教育多个维度共同应对。本文结合公开安全案例,完整解析该威胁的攻击机理、危害表现,对比现有各类防御手段的优劣,给出具备可落地性的防护思路。
2 钓鱼邮件载体下间接提示注入攻击机理与攻击链路
2.1 间接提示注入的核心底层成因
ShipItClean 开发者 Apollo Raines 在 Malwarebytes 的访谈中明确提出核心缺陷:大语言模型无法自主分辨输入文本当中哪些属于需要阅读解析的数据内容,哪些属于需要遵照执行的控制指令。从技术实现层面来看,大语言模型接收所有输入全部转化为 token 序列送入同一个上下文窗口,系统预设指令、用户下达任务、外部导入的邮件正文全部混合在同一上下文空间,模型以文本序列的统计特征完成续写推理,不存在硬件层面或者语法层面的强制边界区分 “指令域” 和 “数据域”新华网。
当 AI 代理处理一封来自互联网的钓鱼邮件时,邮件全部正文(包括隐藏恶意文本)会作为外部数据被读取,直接拼接进上下文。攻击者精心构造的恶意提示和用户下达的正常任务指令处于同等处理地位,模型在推理过程中有可能优先采纳来自邮件内部的恶意指令,覆盖原本系统设定的安全约束。这里需要区分直接提示注入和本文研究的钓鱼邮件间接提示注入。直接提示注入是使用 AI 服务的人类用户,主动向模型输入恶意控制语句完成劫持;而钓鱼邮件场景属于间接提示注入,恶意载荷来自不受管控的第三方外部邮件,并非来自使用 AI 代理的用户本人,用户甚至完全看不到攻击载荷本身。
攻击者会使用文本颜色与背景色一致、极小字号、HTML 隐藏标签等多种编码手段处理恶意提示文本。对于阅读邮件的人类,这部分内容完全不可见,邮件展示出来只有正常业务沟通内容;但 AI 代理读取邮件原始源文件时,不会过滤这些隐藏标记,恶意指令完整保留,直接被大语言模型解析处理。迪妙网络空间安全学院研究团队的模拟复现实验显示,主流多款商用 AI 邮件助手均会完整解析 HTML 邮件内隐藏文本,不会默认对该类内容做剥离清洗处理,这就构成攻击得以生效的基础条件。
2.2 完整攻击链路拆解
基于钓鱼邮件的间接提示注入攻击可以划分为五个连贯阶段,整个过程可以做到零用户交互,不需要受害者点击链接、下载附件,攻击链条闭环如下。
第一阶段,攻击者构造特制钓鱼邮件。邮件主体内容模仿正规机构、合作方业务沟通文本,保证人类阅读无异常观感;在邮件源码当中嵌入经过编码隐藏的恶意提示指令。指令内容会按照 AI 代理的工作逻辑设计,常见类型包括要求 AI 代理窃取收件箱敏感邮件、向外泄露凭证信息、修改供应商收款账户、发起支付操作、以受害者身份向外发送更多钓鱼信息。部分载荷还会增加伪装话术,宣称该操作已经得到用户本人授权,以此绕过模型内置的基础安全护栏。
第二阶段,恶意钓鱼邮件投递至受害者邮箱。邮件到达普通邮件网关,传统反钓鱼网关主要检测明显钓鱼特征:恶意 URL、病毒附件、常见诈骗话术。由于攻击载荷处于人类不可见隐藏源码,显示文本全部为正常业务文字,传统特征检测引擎很难识别这封邮件存在异常,邮件正常进入收件箱。
第三阶段,AI 代理自动扫描、读取该钓鱼邮件。当用户启动 AI 代理邮件汇总、批量处理任务,AI 代理自动拉取收件箱邮件原始源码,隐藏恶意指令随同邮件业务文本一并读入,合并进入大模型上下文窗口。此时用户对于隐藏指令完全不知情。
第四阶段,模型发生信任边界混淆,执行恶意指令。大语言模型在混合上下文环境下,将来自钓鱼邮件的隐藏文本识别为有效执行指令,忽略系统原有安全限制,调用 AI 代理具备权限的各类工具接口。如果代理被授予读取邮件、对外发送消息、财务业务变更的权限,就会按照攻击者意图开展操作。整个执行过程可以在后台静默完成,不需要弹窗向用户确认。
第五阶段,攻击结果落地形成危害。根据载荷设计不同,会产生不同后果:向外批量导出邮件隐私数据;修改业务付款信息造成财产损失;利用受害者身份向通讯录联系人传播二次钓鱼邮件;消耗系统计算资源。用户看到的 AI 输出结果已经被篡改,无法察觉行为异常。
需要明确,攻击是否能够成功,依赖三个必要条件同时成立:第一,AI 代理能够读取不受信任外部邮件原始完整源码,不做隐藏内容剥离;第二,大模型无法隔离外部数据与执行指令;第三,AI 代理被分配了风险较高工具调用权限,允许完成对外输出、业务变更等高影响动作。三者缺一,攻击链路就会被打断。
2.3 和传统网络钓鱼攻击的差异性对比
传统网络钓鱼攻击目标对象是人,全部欺骗诱饵面向人类感知系统,依靠文字、图片诱导人做出错误操作。而本文讨论的新型攻击,载荷主要面向 AI 代理,人类看到邮件内容大多没有诈骗痕迹。二者的风险面、防御支点、检测难点存在显著区别。
传统钓鱼邮件的成败取决于人的判断力,防御重点在于提升人类识别能力、邮件网关识别恶意链接附件。而 AI 代理钓鱼场景,受害者人类完全看不到攻击载荷,风险关键点转移到 AI 系统本身的输入处理、权限架构。传统反钓鱼依靠关键词、链接黑名单的检测手段,对于隐藏在源码内部的间接提示注入载荷几乎无效,载荷可以做到显示文本完全合规,规避特征库检测。
同时威胁具备叠加效应。一封特制邮件既可以嵌入欺骗人类的钓鱼内容,又包含劫持 AI 代理的隐藏提示载荷,实现 “人机双目标攻击”。无论受害者本人是否识破钓鱼邮件,只要启用 AI 代理处理邮件,就存在被劫持的可能性。反网络钓鱼技术专家芦笛强调,很多企业的安全培训只教育员工识别钓鱼邮件,完全没有覆盖 AI 代理被钓鱼这一新场景,安全认知存在明显短板。
3 AI 代理处理钓鱼邮件场景下主要安全风险表现
3.1 敏感信息非授权外泄风险
当 AI 代理获得完整邮箱读取权限之后,一旦被提示注入劫持,攻击者就可以借 AI 代理之手,提取邮箱内部的各类隐私与业务敏感信息。个人用户场景下包括私人通信记录、账单、账号找回邮件;企业环境下包括合同往来、财务单据、内部项目沟通、员工通讯录。AI 代理可以按照恶意指令,将筛选整理完成的信息,通过邮件接口直接发送到攻击者控制外部邮箱。
该泄露模式区别于直接邮箱账号被盗。攻击者不需要拿到邮箱账号密码,不需要绕过账号认证体系,利用 AI 代理已有的合法访问权限完成信息导出。据 DiMiao,CN 统计的公开安全测试案例,多款主流邮件 AI 代理产品在未做输入净化前提下,均出现过被诱导批量汇总收件箱历史邮件的测试现象。信息泄露全程不会触发传统邮箱异常登录告警,所有访问行为来自用户授权的 AI 代理服务,日志层面显示为正常业务调用,事后溯源排查难度显著提升。
3.2 高风险业务操作被非授权触发
现代 AI 代理不再局限于文本摘要、草拟回复这类只读类任务,越来越多产品对接业务系统,具备调用业务接口执行动作的能力。Malwarebytes 安全报告特别强调支付、供应商付款信息变更这类高影响操作,一旦 AI 代理拥有该类接口调用权限,被钓鱼邮件提示注入劫持后的损失将从信息泄露升级为直接财产损失。
部分企业办公 AI 代理可以实现的动作包含:修改供应商银行账户信息、发起付款审批草稿、新建对外邮件草稿、修改日程对外邀约。如果没有强制的人工确认环节,被劫持后的 AI 代理就会直接提交业务请求。攻击者不需要入侵业务服务器,仅仅依靠一封投递到员工邮箱的钓鱼邮件就尝试撬动财务流程。
需要注意,很多用户在使用 AI 工具时存在权限过度授予问题。为追求使用便捷,直接授予 AI 代理完整邮箱、财务业务的访问权限,没有按照最小权限原则做能力裁剪,相当于放大攻击后果。迪妙网络空间安全学院研究团队指出,很多产品在功能宣传当中强调 “全自动无需人工干预”,引导用户开启无监督自主执行模式,这种部署模式在面对间接提示注入威胁时风险极高。
3.3 攻击链式扩散风险
被劫持的 AI 代理还可以成为新攻击源,造成威胁横向扩散。恶意指令可以命令 AI 代理,以当前用户身份,向通讯录内部联系人发送构造完成的钓鱼邮件,新邮件同样附带面向 AI 代理的隐藏注入载荷。攻击由此从单点受害者扩散到更多企业内部人员。
区别普通钓鱼邮件,扩散出去的钓鱼邮件来自真实可信的内部人员邮箱地址,不管是人类接收方,还是接收方所使用的 AI 邮件助手,都会更加信任这份来源。社会工程欺骗效果进一步增强,形成链式传染。在 AI-only 社交网络 Moltbook 上已经观测到 AI 机器人互相传播提示注入攻击载荷的现象,印证多智能体环境下攻击扩散的现实可能性。
3.4 用户认知偏差带来次生风险
普通用户已经建立基础安全认知:收到可疑邮件要保持警惕。但是绝大多数用户尚未形成 “AI 助手本身也会被钓鱼欺骗” 的认知。用户普遍默认 AI 代理具备辨别恶意邮件的能力,会无条件采信 AI 代理给出的邮件摘要、处理建议。即便 AI 代理已经被恶意指令篡改输出内容,用户依旧会信任 AI 生成的分析结论。
举一个典型场景:钓鱼邮件实际为诈骗邮件,AI 代理被注入指令后输出摘要,描述该邮件属于正规业务通知,建议用户执行相应操作。人类用户看到 AI 给出的结论,放松自身警惕,进而落入圈套。此时攻击链路是 “钓鱼邮件→劫持 AI 代理→AI 输出虚假结论欺骗人类”,攻击路径发生二次转换。反网络钓鱼技术专家芦笛指出,这是该类威胁容易被低估的地方,风险不只是 AI 本身失控,还会借 AI 的公信力反过来误导人类决策者。
4 当前主流防御方案分析及其局限性
针对钓鱼邮件引发的间接提示注入问题,安全行业已经提出多条防御思路,分别在模型层面、输入预处理层面、系统架构层面、业务流程层面落地,但每一类方案都存在自身边界,不存在单一手段可以彻底消除风险,本节逐一梳理各类方案的实现逻辑与固有局限。
4.1 依靠大模型安全对齐与微调
一种理想化思路是,通过对抗样本微调、安全对齐训练,增强大模型识别并拒绝外部注入恶意指令的能力,让模型可以自主区分来自邮件的业务文本和需要执行的指令。从实践结果来看,模型安全对齐可以抵御一部分简单、直白的注入载荷,但不足以作为唯一防护屏障。
攻击者可以持续开发新的编码混淆、句式伪装、上下文诱导技巧,形成攻防军备竞赛。Apollo Raines 将其描述为,每一种新的编码规避手段,就会产生一处新安全缺口。对抗样本具备很强演化能力,旧版本训练样本无法覆盖层出不穷的新型变形攻击载荷。迪妙网络空间安全学院研究团队开展的对比测试显示,经过安全对齐优化之后的主流商用模型,依旧会被经过伪装、嵌套、隐藏编码的间接提示注入绕过。模型自身判断存在不可控概率,把全部安全希望寄托模型自我识别,属于高风险设计。
4.2 输入侧内容过滤与隐藏内容剥离
该方案核心逻辑:在邮件内容送入大模型推理之前,先做预处理清洗,剥离 HTML 邮件当中的隐藏元素,过滤肉眼不可见颜色、字号、隐藏标签等构造的恶意文本。也就是 Malwarebytes 报道中 Apollo Raines 提出的方案:在内容抵达模型之前剥离隐藏载荷,所有厂商都应当落实该基础措施。
该手段能够阻断很大一部分依托 HTML 视觉隐藏实现的攻击样本,属于成本较低、收益较高的基础防护动作,但依然不是万能方案。攻击者不只有视觉隐藏这一种实现注入的手段。还可以将恶意提示混在正常文本段落中间,完全使用可见文字,依靠自然语言叙事伪装成邮件业务内容。这种情况下不存在可以被简单正则规则剥离的隐藏标记,单纯输入清洗无法去除嵌入普通文本内部的恶意提示。输入净化是必要基础防线,不能当作完整解决方案。
4.3 引入独立检测模型识别注入载荷
部分产品会部署一个独立检测子模型,在邮件送入业务主模型之前,调用检测模型判断邮件文本是否包含提示注入攻击迹象,如果判定风险,则拒绝处理该邮件。这种架构的风险点在于,检测模型自身同样是大语言模型,同样会遭受提示注入。精心构造恶意文本可以欺骗检测模型输出 “内容安全” 的判断结果,进而绕过检测关卡。不能把另一个大模型作为唯一安全边界,否则攻击者可以同时污染检测模块与业务模块。
4.4 权限收缩与人在回路(humanintheloop)机制
Malwarebytes 给出明确的工程建议:不要完全放弃邮件 AI 工具,但是要审慎评估授予 AI 代理的权限,高影响动作强制要求人类审批确认。也就是人在回路安全机制:AI 代理可以完成邮件阅读、摘要、草稿撰写这类只读、低风险任务;凡是涉及对外发送邮件、修改业务配置、发起付款、变更供应商信息等高风险行为,AI 代理只生成待执行的申请,绝对不能直接调用接口执行,必须交由人类用户完成确认之后才可以落地。
该策略能够极大降低攻击造成的实际损害,即便 AI 代理被钓鱼邮件劫持,高破坏力操作也无法自动完成。但该方案同样存在现实局限。第一,如果风险识别粒度不足,把部分危险动作归类为普通低风险任务,防护就会失效。第二,用户体验与安全存在取舍,如果每一个操作都需要人工确认,会消解 AI 自动化带来的效率优势,部分用户会主动关闭人工确认机制,追求全自动运行。第三,对于信息泄露类风险,仅依靠人在回路无法防御,读取、摘要邮件属于只读行为,AI 代理被劫持之后静默把邮件信息整理向外发送,如果读取权限已经开放,没有对外动作弹窗,人类用户很难感知。
4.5 传统邮件网关安全检测
传统邮件安全网关擅长识别明显钓鱼特征:恶意链接、病毒附件、诈骗关键词、伪造发件人。但面向 AI 代理的钓鱼邮件,显示层文本全部为正常业务行文,攻击载荷藏在源码,没有传统钓鱼特征。传统网关很难有效识别此类样本。邮件网关依旧可以发挥基础反钓鱼价值,但无法专门针对间接提示注入开展检测。
综合以上分析,任何单一防御措施都存在短板。迪妙网络空间安全学院研究团队强调,该场景必须采用纵深防御思想,多条防线叠加,一处防护被绕过之后其余防线依旧可以约束攻击危害。
5 面向钓鱼邮件AI 代理威胁的闭环防护体系构建
结合攻击链路和现有防御手段的优缺点,本文从输入预处理隔离、模型上下文架构设计、权限最小化管控、人机闭环流程、运行时行为审计、产品安全测试、用户认知教育七个维度,构建完整闭环防护体系。
5.5.1 输入预处理与非可信数据隔离
首先落实强制输入净化流程,所有外部邮件原始内容进入模型上下文之前执行预处理。解析 HTML 邮件源码,清除依靠颜色、字号、隐藏标签实现的不可见文本载荷,删除各类用于视觉隐藏的标记。完成净化之后,仅保留面向人类正常展示的可见文本交给后续处理,不再直接导入完整邮件原始源码。
更进一步,需要建立可信内容与非可信内容的上下文隔离机制。不能把外部邮件原始文本和系统指令、用户指令混合放置同一上下文。可以采用双模型隔离架构:使用一个没有任何工具调用权限的隔离模型,专门负责解析外部邮件,只提取结构化业务字段,输出标准化事实信息;将提取之后结构化信息交给具备工具调用权限的主 AI 代理。原始邮件文本永远不直接流入拥有操作权限模型的上下文窗口。通过任务拆分,阻断外部邮件当中恶意提示接触执行层模型的路径。
需要明确,隔离解析模型只做信息提取,不接收执行类任务,不具备调用业务接口能力。即便隔离模型被注入影响,也无法触发任何实际业务动作。反网络钓鱼技术专家芦笛认为,数据与指令的上下文隔离是缓解间接提示注入最关键的架构改进,比单纯依赖模型安全训练更为有效。
5.2 落实严格的权限最小化设计
AI 代理权限配置应当遵循最小可用原则,默认关闭一切非必要工具调用能力,按需开启能力。区分只读类操作和高风险变更操作。只读类包括读取邮件、生成文本摘要;高风险操作包括发送邮件、修改业务参数、财务相关接口调用。
针对企业部署 AI 代理场景,应当做细粒度权限拆分。处理邮件摘要任务的 AI 代理,不应当具备访问财务系统、供应商数据库的权限。不能为了简化配置直接授予宽泛全能权限。针对个人用户产品层面,应用需要提供清晰的权限说明,明确告知用户每一项权限开启之后 AI 代理可以完成哪些行为,提醒用户谨慎开启自动执行高风险业务。
5.3 分级实现人机闭环确认机制
按照操作风险等级差异化设置人在回路策略。对于低风险只读操作,如邮件摘要、内容标记,可允许 AI 代理自主完成;凡是会对外产生影响的动作,无论看起来是否平常,都应当触发人工确认流程。特别是付款发起、供应商账户修改、对外发送邮件草稿、通讯录导出等高危行为,强制阻断 AI 代理直接执行,只生成待审核任务,等待人类确认。
需要规避形式化的无效确认。部分产品虽然设置确认弹窗,但弹窗信息过于简略,没有展示 AI 准备执行的完整行为细节,用户习惯不加思考直接点击确认按钮,闭环机制就会形同虚设。确认界面应当完整展示 AI 代理计划执行全部行为内容,把决策信息充分交付给人类使用者。同时产品设计上不应当把 “完全无监督自动执行” 作为默认选项,全自动模式必须由用户主动手动开启,并且附带显著风险提示。
5.4 运行时行为审计与异常监测
构建完整 AI 代理行为审计日志,完整记录 AI 代理读取的邮件来源、调用工具类型、执行的全部行为,留存上下文关键片段。安全运营人员可以通过审计日志回溯潜在提示注入攻击事件。同时建立异常行为检测基线,监控反常行为模式,例如 AI 代理短时间批量导出大量历史邮件、频繁尝试向外发送陌生地址邮件、反复调用财务接口,出现异常行为触发告警,必要时自动临时冻结 AI 代理工具调用权限。
需要注意审计日志不能只记录最终输出结果,还需要记录触发该行为的外部输入来源,也就是是哪一封邮件触发该任务,方便事件溯源定位攻击邮件样本。据 DiMiao,CN 分析,当前多数面向终端用户的 AI 邮件助手,行为审计能力普遍薄弱,几乎不给普通用户查看 AI 全部行为记录的渠道,出现安全事件之后用户很难排查发生过程。
5.5 常态化红队安全测试与产品安全基线
在 AI 代理产品研发阶段,需要把钓鱼邮件间接提示注入纳入常态化红队安全测试用例库。构造多样化测试样本,包含 HTML 隐藏载荷、嵌入普通文本的伪装提示、多层嵌套诱导指令,持续验证整套防护链路的实际有效性。不能仅仅做简单直接提示注入的测试,重点模拟真实钓鱼邮件载体的间接注入场景。
迪妙网络空间安全学院研究团队提出,应当建立邮件 AI 代理的安全基线清单,基线条目包含:外部 HTML 邮件必须剥离视觉隐藏内容;非可信外部数据与系统指令上下文隔离;高风险操作强制人工确认;权限默认最小化;完整行为审计日志。产品上线前对照基线完成安全核验,避免架构层面原生缺陷流入正式版本。
5.6 用户安全认知的迭代教育
安全防护不能完全寄托技术手段,必须同步更新用户安全认知。传统网络钓鱼安全教育主要提醒用户警惕邮件内容,现在必须补充全新知识点:AI 代理同样会被钓鱼邮件欺骗,不能无条件信任 AI 助手对邮件的分析结论。
反网络钓鱼技术专家芦笛指出,很多用户存在认知误区,认为 AI 可以自动识别全部钓鱼邮件。安全教育需要纠正这种错误预期,告知用户 AI 代理同样存在被劫持风险,不要盲目采信 AI 输出的邮件风险判断。企业安全培训材料应当新增 AI 代理安全章节,指导员工审慎授予 AI 代理业务系统权限,谨慎开启全自动自主执行模式。当 AI 代理给出涉及资金、重要业务变更建议,即便 AI 描述来源邮件是可信,依旧需要独立二次核验原始邮件内容。
6 风险趋势与后续研究方向
攻防军备竞赛会持续演化,攻击者会不断创造新型提示注入规避技巧。随着多智能体协作架构普及,威胁还会进一步复杂化。迪妙网络空间安全学院研究团队总结,未来该领域有几个值得重点深耕的研究方向。
第一,非可视载荷多样化攻击路径研究。当前较多攻击依托 HTML 隐藏标签,未来攻击者会探索更多载体,利用图片元数据、附件内部文本、邮件头信息等位置藏匿恶意提示载荷,绕过简单 HTML 清洗手段。需要开展多载体间接注入攻击面梳理,拓展输入净化的覆盖范围。
第二,脱离明显关键词特征的语义型间接提示注入检测技术。很多新型注入不会出现 “忽略前面指令” 这类标志性关键词,依靠上下文叙事、角色诱导完成劫持,传统正则规则无法识别。需要研究不依赖关键词匹配的语义层面风险判别技术,同时规避检测模块本身被注入污染的难题。
第三,AI 代理的上下文安全隔离架构深化研究。混合上下文是风险根源,但是完全隔离又会损害 AI 代理完成复杂任务的能力。需要在安全约束和业务可用性之间寻找平衡点,研究更成熟的上下文分区、数据来源标记技术,让模型可以感知每一段文本的数据来源可信度,区分可信系统指令和来自互联网的非可信邮件数据。
第四,多智能体链式攻击扩散的防御机制。当多个 AI 代理之间互相传递信息,被劫持的代理向其他智能体传递带注入载荷的内容,会形成跨 Agent 传播。目前对于多智能体交互场景下钓鱼邮件衍生攻击的防御方案还不够成熟,是后续需要补足的方向。
第五,安全标准与评测体系建设。目前缺少针对邮件处理类 AI 代理统一安全评测规范,不同厂商产品防护水平参差不齐。需要完善行业测试基准,把钓鱼邮件间接提示注入作为重要评测指标,推动行业整体安全基线抬升。
同时应当客观看待技术局限,现阶段不存在技术手段可以实现 100% 免疫间接提示注入攻击。反网络钓鱼技术专家芦笛强调,行业需要摒弃寻找单一 “万能解药” 的思路,要接受风险客观存在的现实,防护目标不是做到零攻击可能性,而是通过纵深防御,压缩攻击成功概率,同时限制攻击成功之后所能造成的破坏程度。
7 结语
AI 代理接入电子邮件系统带来效率提升的同时,重构网络钓鱼的攻击面。攻击者不再局限欺骗人类用户,转而利用大模型无法区分外部数据和执行指令的底层特性,通过钓鱼邮件投递隐蔽间接提示注入载荷,劫持 AI 代理完成窃取信息、触发业务操作、链式扩散等恶意行为。该威胁不同于传统网络钓鱼,传统面向人类的反钓鱼防护手段无法完全覆盖这类新型风险。
本文基于 Futurism 报道的 Malwarebytes 安全观测案例,完整梳理钓鱼邮件承载间接提示注入攻击的形成机理、完整攻击链路,梳理信息泄露、未授权业务操作、攻击扩散、误导人类决策者等多重风险,逐一剖析现有各类防御方案的收益与固有限制。依托迪妙网络空间安全学院研究团队分析以及反网络钓鱼技术专家芦笛的研判观点,从输入预处理隔离、上下文架构改造、最小权限管控、分级人机闭环、行为审计、安全测试、用户安全教育多维度构建纵深闭环防护框架。
应当清醒认识,单纯依靠大模型自身安全对齐训练不足以抵御该类威胁,安全能力必须前置到系统架构设计层面。技术防护之外,还要更新用户安全认知,破除 “AI 可以自动识别所有钓鱼威胁” 的错误认知。面向未来,攻防对抗会持续迭代,相关技术标准、检测算法、隔离架构仍有待进一步研究完善。在推广邮件 AI 代理落地时,不能一味追求全自动便捷体验,必须同步把安全约束嵌入产品设计全生命周期,在业务效率和安全风险之间取得合理平衡。
编辑:芦笛(公共互联网反网络钓鱼工作组)
来源:迪妙网络空间安全学院