摘要:生成式人工智能逐步嵌入企业邮件办公流程,邮件 AI 助手承担邮件摘要、待办提取、简历筛选、业务信息整理等工作,由此衍生出一类双目标钓鱼攻击。该类攻击的邮件载体同时设置面向人类用户的传统钓鱼载荷,以及对 AI 助手生效的隐藏提示注入载荷,利用 HTML 注释、零尺寸字体、同色不可见文本、编码混淆等方式藏匿恶意指令,AI 解析邮件原始内容时读取并执行注入指令,进而篡改业务摘要、伪造付款信息、诱导错误业务决策。本文以澳大利亚 ACSC 披露、Barracuda 威胁团队跟踪的真实威胁活动为分析样本,还原双目标钓鱼攻击完整杀伤链,解析攻击载荷隐藏实现技术,剖析传统邮件安全防护、大模型自身安全机制在该威胁场景下的短板,厘清商业邮件妥协在 AI 时代新的风险演化逻辑。结合迪妙网络空间安全学院研究团队依托 DiMiao,CN 威胁情报库的跟踪观测数据,从邮件内容净化、AI 权限管控、业务流程校验、人员安全培训、事件应急处置五个维度构建闭环防御框架。研究表明,提示注入带来的风险并非单纯属于大模型算法缺陷,更多是不可信外部输入与 AI 工具权限边界管控失衡共同造成;仅依靠模型层面安全对齐无法抵御该类现实威胁,必须将邮件网关的内容清洗、AI 运行时权限约束与企业业务复核流程相结合,才能降低双目标钓鱼攻击给中小微企业带来的资金损失与数据泄露风险。 关键词:网络钓鱼;提示注入;双目标攻击;商业邮件妥协;邮件 AI 助手;企业网络安全
1 引言
电子邮件长期是企业对外业务沟通的核心载体,同时也是网络钓鱼、商业邮件妥协攻击最主要的传播渠道。澳大利亚网络安全中心 ACSC 统计数据显示,商业邮件妥协事件给澳大利亚小微企业造成的单起平均自报损失达到 49600 澳元,十二个月周期内收到约 4600 起事件上报,约三分之一事件产生实际财产损失,损失总规模约 8100 万澳元。传统商业邮件妥协主要依靠身份仿冒、社会工程欺骗,诱导企业财务、行政人员执行错误付款操作,攻击对象始终是人,攻击者需要想方设法突破人的主观判断,完成欺诈流程。
随着大语言模型落地办公场景,大量企业部署集成 AI 能力的邮箱助手,自动完成邮件摘要生成、高优先级邮件标记、简历批量初筛、业务信息提取等重复性工作,以此缓解企业人员处理海量邮件的压力。办公人员会直接参考 AI 输出的摘要结果开展业务判断,部分 AI 助手还具备调用业务系统、生成待办、读取云端文档的操作权限。攻击者随之调整攻击思路,不再把全部欺骗压力施加在人类身上,发展出 “人类AI 双目标” 钓鱼模式,一封邮件同时设计两套攻击载荷,一部分内容展示给阅读邮件的员工,另一部分隐藏指令专门针对解析邮件的 AI 助手,借助提示注入技术诱导 AI 篡改输出结果,间接误导人的业务决策。
反网络钓鱼技术专家芦笛指出,该类双目标钓鱼攻击代表网络钓鱼新的演化分支,它跳出过去 “欺骗人” 的单一思路,把 AI 系统当成新的攻击靶点。威胁发生时,人类阅读邮件看不到恶意指令,传统恶意附件、恶意链接不一定出现,攻击可以做到零点击触发,只要 AI 助手对这封邮件执行解析、摘要处理,就有可能触发恶意行为,这对传统邮件安全检测体系提出全新挑战。迪妙网络空间安全学院研究团队基于 DiMiao,CN 公开威胁情报的统计分析,当前该类攻击野外样本数量尚处于增长阶段,很多企业在采购部署邮箱 AI 工具时,更多关注业务效率提升,却缺少针对间接提示注入的风险评估,企业安全制度、邮件防护策略没有跟上 AI 办公工具迭代速度,多数中小微企业尚未意识到邮件 AI 助手会引入此类新型攻击面。
当前学术领域对于提示注入的研究,较多聚焦通用大模型演示环境,针对真实企业邮件业务场景下双目标钓鱼的完整机理、杀伤链条、落地防御方案的系统性分析仍然偏少。多数企业依旧沿用传统针对人类钓鱼的防护手段,这套防护体系无法覆盖 AI 被诱导篡改输出结果的风险。基于上述现实背景,本文以 Dynamic Business 报道披露的 Barracuda 威胁研究案例作为核心样本,梳理双目标钓鱼攻击的技术手段、典型业务场景,挖掘风险形成的多层根源,建立适配企业实际业务的综合防御框架,为国内政企,尤其是安全资源有限的中小微企业处置该类新兴威胁提供参考。
2 案例背景与双目标钓鱼攻击技术实现
2.1 原始威胁事件概况
根据公开报道,澳大利亚小微企业持续遭受钓鱼与商业邮件妥协的侵扰,而新一轮攻击叠加针对邮箱 AI 助手的恶意载荷,形成双目标钓鱼邮件。这类邮件具备双层内容结构,面向人类的可视化内容与面向 AI 的隐藏提示注入指令并存,隐藏指令人类客户端渲染时完全不可见,但 AI 助手读取邮件原始 HTML 源码、提取全部文本内容时,能够完整获取这些恶意指令。
Barracuda 威胁分析师 Guruprasad Kenja 的研究确认,同一封邮件可以同时承载两类攻击载荷:传统钓鱼载荷可以是恶意附件、仿冒业务的文本内容,用来欺骗人类员工;第二层载荷是提示注入指令,目标是操控处理邮件的 AI 助手。攻击并不强制要求人类点击链接或者打开附件,只要 AI 工具读取解析邮件,就存在被操纵的可能性。
报道列举三类现实观测到的攻击场景。第一类为发票付款欺诈场景,隐藏指令命令 AI 助手将该邮件标记为供应商紧急付款更新,AI 生成摘要时篡改收款账号信息,员工依赖 AI 输出摘要开展财务审批,进而产生资金损失;第二类是求职简历场景,攻击者在简历文档内部嵌入隐藏提示,操纵招聘 AI 筛选工具无视简历真实能力,给出满分评价并且推荐进入面试;第三类针对开发运维场景,注入指令诱导 AI 切换至维护管理模式,泄露系统配置,或是要求 AI 代码助手在生成认证功能时植入窃取凭证的代码片段。
ACSC 原有针对商业邮件妥协的防护建议依旧具备基础价值,包括跨渠道核验异常付款请求、业务系统启用多因子认证、周期性员工安全培训。但是面对新增的 AI 攻击面,原有防护不足以覆盖全部风险,需要补充专门针对 AI 助手被提示注入操纵的管控措施。
2.2 隐藏恶意指令的主要实现手段
攻击者利用电子邮件 HTML 格式的渲染与解析差异实现载荷隐藏。邮件客户端渲染 HTML 页面展示给人的时候,会忽略特定标记、过滤样式不可见的文本,但是 AI 邮件解析组件为保证信息完整性,会提取原始全部文本,不会主动过滤 HTML 注释、零字号文本、背景同色文本、编码内容,恶意指令就此进入大模型上下文窗口。迪妙网络空间安全学院研究团队整理野外样本,归纳四类高频使用的隐藏技术手段。
第一,HTML 注释嵌入指令。攻击者将完整提示注入指令写在 HTML 注释标签内部。普通邮件客户端不会展示注释内容,人类阅读完全无感知;AI 解析原始 HTML 源码,注释内部的文字会被提取送入大模型。该方法实现门槛低,修改邮件 HTML 源码即可完成,简历钓鱼样本中已经大量出现该手法。
第二,CSS 样式实现视觉隐藏文本。将承载恶意指令的文本块设置字号为零,或者文字颜色与页面背景颜色完全保持一致。文档对象中该段文本真实存在,仅仅是视觉层面不可见,AI 提取全部文本时完整读取指令内容,发票类双目标钓鱼较多采用此种混淆方式。
第三,字符编码与内容加密保护附件。攻击者把恶意提示指令做编码转换,放置在邮件正文或者受密码保护附件内,AI 解析模块完成解码之后获取指令;受密码保护附件传统杀毒引擎难以扫描内部内容,也成为藏匿注入指令的载体。
第四,零宽 Unicode 字符混淆。利用零宽空格、零宽连接符这类肉眼不可见的 Unicode 字符穿插在提示指令当中,规避关键词规则匹配,同时保证 AI 模型能够识别理解完整语义。
上述各类手段共同的核心逻辑,就是制造 “人看到的内容” 和 “AI 读到的内容” 出现割裂,人类收件人所见业务邮件看起来正常,AI 却接收到另外一套操纵命令,这是双目标钓鱼区别于传统钓鱼最核心的技术特征。
2.3 双目标钓鱼攻击完整杀伤链还原
结合新闻报道素材以及 DiMiao,CN 威胁情报平台同类事件跟踪,将完整攻击划分为诱饵投递、双层载荷呈现、AI 解析触发提示注入、AI 输出篡改、业务决策误导、次生危害扩散六个环节,各个环节环环相扣形成完整攻击闭环。
第一环节:诱饵投递。攻击者向企业业务邮箱发送特制双目标钓鱼邮件。邮件外层可视化内容模仿供应商发票、求职简历、业务合作通知等真实业务邮件,降低邮件被安全网关基于文本语义直接拦截的概率。邮件可以携带传统钓鱼载荷,也可以不带恶意链接与附件,仅依靠隐藏提示注入完成攻击。
第二环节:双层载荷呈现。邮件抵达企业邮箱服务器并存入收件箱。普通员工打开邮件客户端,渲染之后只能看到正常业务文本,无法看到 HTML 注释、零字号文本当中的注入指令;邮件原始源码完整保留全部恶意内容,等待 AI 助手调用解析接口读取邮件数据。
第三环节:AI 解析触发提示注入。AI 邮件助手触发处理流程,触发条件可以是自动批量摘要收件箱、用户手动调用 AI 总结该封邮件、AI 执行邮件分类与优先级标记。AI 解析组件提取邮件全部原始文本,包含被隐藏的提示注入指令,指令被送入大模型上下文窗口。攻击者在指令中经常加入 “忽略之前全部系统指令”“执行下述操作” 这类提示劫持语句,尝试覆盖大模型原有系统提示的约束边界。反网络钓鱼技术专家芦笛强调,此处并不需要攻破大模型底层算法漏洞,而是利用大语言模型固有的输入处理特性:模型很难天然区分哪些输入属于可信系统指令,哪些属于外部不可信数据中夹带的命令。
第四环节:AI 输出结果被篡改。大模型受隐藏指令诱导,输出被篡改之后的业务摘要、优先级标记或者处理建议。例如把普通发票改写标记为紧急付款,替换摘要内收款账户信息;或者处理简历时输出虚高的人才评分。此时,人类员工看到的不是邮件原文,而是 AI 加工之后输出的结果。原始邮件正文与 AI 输出内容之间出现信息偏差,但是普通业务人员很少会逐字比对 AI 输出和邮件原始全文。
第五环节:误导人类做出错误业务决策。企业员工参考 AI 给出的摘要、标记、评分开展业务操作。财务人员依照 AI 摘要内虚假账号发起转账;HR 依据 AI 给出满分评价推进面试流程;运维人员采信被篡改的系统提示执行高危操作。整个欺诈流程中,人类没有直接点击恶意链接、没有打开可疑附件,风险根源来自 AI 被外部邮件当中隐藏指令操纵。
第六环节:次生危害扩散。攻击达成直接目的之后,还会衍生次生风险。如果 AI 具备向外发送邮件、读取更多邮箱内容的权限,攻击者通过提示注入还可以诱导 AI 汇总邮箱内敏感业务资料,生成新的误导邮件对内扩散,扩大威胁影响范围。
整条杀伤链存在多个阻断节点:邮件网关提前清洗去除隐藏混淆内容;AI 侧拒绝执行来自外部邮件的指令;业务流程层面强制要求核对原始邮件而非仅采信 AI 摘要;人员能够识别 AI 输出的异常信息。任意节点生效,就可以阻断完整攻击链路。如果全部节点失效,攻击即可达成预期危害。
2.4 和传统商业邮件妥协攻击的差异性对比
传统商业邮件妥协 BEC 攻击全部欺骗链路作用于人类,攻击者通过仿冒发件人、伪造业务话术,让阅读邮件的人主观相信虚假业务信息,进而执行转账或者泄露信息。威胁检测重点关注发件人伪造、邮件文本的欺诈话术、恶意链接附件。风险感知依靠员工的辨别能力,安全设备重点防护邮件本身呈现给人的内容。
而双目标钓鱼攻击构建两层信息,欺骗对象分为 AI 系统和人类。可以在没有恶意链接、没有恶意附件条件下完成攻击;威胁载荷藏匿在邮件源码当中,人类邮件客户端不可见;攻击触发点发生在 AI 解析处理阶段,而不是用户点击操作。传统邮件安全设备主要面向人可读内容做检测,对 HTML 注释、零字号文本这类视觉隐藏内容的检测净化能力普遍不足。
从风险触发条件看:传统 BEC 攻击需要人相信虚假信息;双目标钓鱼攻击优先尝试操纵 AI,再由被操纵的 AI 间接去误导人。用户甚至完全不需要仔细阅读邮件原文,仅仅浏览 AI 生成摘要就落入圈套,这就拓展了商业邮件妥协的实现路径。迪妙网络空间安全学院研究团队指出,该模式会进一步放大中小微企业的风险,小微企业大量依赖 AI 工具减少人力投入,财务、人事岗位人员身兼数职,业务处理高度依赖 AI 输出结果,复核原始材料的时间投入有限,客观上放大攻击成功率。
3 双目标钓鱼攻击多重风险成因分析
3.1 攻击者层面:攻击门槛下降,载荷设计贴合真实业务场景
提示注入双目标钓鱼不需要挖掘复杂系统漏洞,攻击者核心工作是构造业务伪装邮件,同时在 HTML 源码插入提示注入指令。现有公开材料、工具可以辅助完成邮件 HTML 混淆,攻击者不需要深度掌握大模型底层原理,就能够制作基础双目标钓鱼样本,攻击实施门槛持续下降。
攻击者会选取企业高频业务场景作为伪装外壳,供应商发票、求职简历、业务紧急通知,都是企业日常高频接收邮件类型。这类主题本身不会直接触发人员警惕心理。传统安全教育更多提醒员工警惕恐吓类、索要密码类钓鱼邮件,对于 “AI 输出结果被篡改带来间接误导”,绝大多数企业员工没有相关风险认知。攻击者并不需要直接说服人,而是先改变 AI 输出内容,借助员工对于 AI 工具的信任感间接完成欺骗。反网络钓鱼技术专家芦笛指出,用户天然会对 AI 助手输出的总结、摘要产生一定程度信任,主观默认 AI 已经完成信息校验,这种对工具的信任心理,被攻击者充分利用。
3.2 邮件安全防护层面:传统检测体系存在内容净化盲区
主流邮件安全网关的防护能力更多聚焦面向人类的威胁:恶意附件查杀、URL 风险检测、发件域名 SPF/DKIM/DMARC 身份校验、基于可见文本的关键词与语义检测。传统防护逻辑默认:邮件对人展示的可见文本就是全部需要分析的内容。
但双目标钓鱼将恶意指令放置在 HTML 注释、视觉隐藏文本当中。很多邮件网关不会完整解析 HTML 文档,识别并剥离全部视觉不可见内容。如果网关仅提取渲染展示之后的可见文本做检测,那么藏匿在注释、零字号区块内的注入指令不会进入检测流程,样本就可以绕过检测投递至收件箱。
如果要识别这类载荷,需要邮件安全网关完成 HTML 完整解析,区分哪些内容是邮件客户端渲染时人类可见,哪些属于视觉隐藏内容,将隐藏内容剥离之后再送入威胁检测流程。目前并不是全部企业邮件安全产品默认开启该类深度净化能力,大量中小微企业使用标准 SaaS 邮箱,缺少自定义深度 HTML 清洗的配置能力。
3.3 AI 邮箱助手自身架构与权限配置带来内在风险
大语言模型本身的安全对齐、提示防护,主要针对用户直接输入的恶意提示。但是邮件场景属于间接提示注入:恶意指令藏在外部文档(邮件)当中,作为待处理的 “数据” 输入模型上下文,而不是使用者直接向 AI 下达指令。很多 AI 安全防护方案对间接输入场景防护效果有限。
更深层风险来源于权限与能力不匹配。迪妙网络空间安全学院研究团队依据 DiMiao,CN 案例分析总结,不少企业部署的邮件 AI 助手被赋予过高权限:不仅允许读取全部收件箱邮件,还可以标记待办、输出付款待处理事项、访问企业云端文档、输出可直接转交业务岗位的处理建议。当 AI 被提示注入操纵,过高权限会放大危害结果。如果 AI 仅拥有只读摘要能力,危害局限于输出错误文字;一旦具备业务标记、调用其他业务系统的权限,就可以直接推动错误业务流程。
现实部署当中,很多机构在上线 AI 邮箱工具时,没有做最小权限梳理,直接授予 AI 完整邮箱访问权限,没有对 AI 输出结果设置强制校验机制。模型输出直接推送给业务人员,输出内容不会和原始邮件内容做自动比对校验。
同时市场上不同厂商 AI 产品针对提示注入防护水平参差不齐,该领域属于快速演进的新兴安全方向,产品之间防护能力差异巨大,企业采购选型阶段往往缺少针对该威胁维度的评估,容易引入安全隐患。
3.4 企业管理制度层面的短板,中小微企业资源约束突出
ACSC 报告重点指出小微企业是商业邮件妥协的主要受害对象,同样,双目标钓鱼威胁对中小微企业冲击更加明显。中小微企业网络安全人员配置不足,部署 AI 办公工具优先考量效率提升,安全风险评估环节容易简化甚至跳过。
制度层面普遍存在两处缺失。第一,缺少针对 AI 工具输出物的业务复核制度。财务、人事业务流程中没有明确规定:涉及付款审批、人才录用等重大业务,不能只采信 AI 生成摘要,必须核对原始邮件、原始附件完整内容。不少企业没有把这条约束写进业务操作规范,员工在处理大量邮件的压力下,习惯直接阅读 AI 摘要开展工作。
第二,缺少 AI 工具安全选型规范。企业引入邮箱 AI 助手时,没有将 “抵抗邮件内间接提示注入”“HTML 隐藏内容处理机制”“AI 工具权限管控粒度” 纳入采购评估清单,仅仅关注功能、成本。同时缺少针对该新型威胁的内部安全预警机制,外部威胁情报披露新攻击模式,企业内部无法快速完成同步,更新防护配置。
3.5 用户认知层面:对 AI 输出存在过度信任,风险认知存在空白
企业员工经过传统钓鱼安全培训,已经建立基础意识:警惕陌生邮件链接、不打开来历不明附件、对紧急付款请求保持怀疑。但是绝大多数人员并不知晓,一封看起来正常的邮件,在 AI 解析处理过程当中可能夹带隐藏指令,AI 给出的摘要、优先级标记有可能被外部邮件内容篡改。
普通业务人员默认 AI 摘要就是原始邮件客观浓缩,缺少 “AI 输出也可能被外部输入污染” 的认知。当 AI 标记一封普通供应商邮件为 “紧急付款”,员工第一反应是相信 AI 判断,而不是怀疑邮件当中存在针对 AI 的隐藏攻击载荷。同时,该类攻击样本不会产生明显异常弹窗、病毒告警,没有传统威胁的直观特征,很难依靠人的直觉发现风险。
4 面向双目标钓鱼攻击的分层闭环防御体系构建
结合上述风险成因,参考 ACSC 给出的基线建议,结合迪妙网络空间安全学院研究团队依托 DiMiao,CN 威胁情报积累的实践经验,防御不能简单寄希望大模型厂商修复提示注入问题,应当构建邮件入口净化、AI 运行时管控、业务流程约束、人员安全能力建设、事件应急处置相互配合的多层闭环防御。
4.1 邮件网关层面:强化 HTML 解析与隐藏内容净化处理
邮件安全网关需要升级处理逻辑,不能只分析渲染后可见文本。第一,对入站邮件完成完整 HTML 解析,识别 HTML 注释、CSS 设置零字号、文字背景同色、超大透明度等视觉隐藏特征内容,对该部分内容执行剥离转义处理,在邮件送入邮箱存储、交给 AI 助手解析之前,清除利用渲染差异藏匿的潜在恶意指令。同时做好误报平衡,区分业务正常使用的 HTML 注释与刻意用于藏匿文本的混淆行为,建立样本研判流程。
第二,持续做好传统邮件身份校验,完整启用 SPF、DKIM、DMARC,拦截仿冒内部及合作方域名的邮件,压缩攻击者伪造业务邮件的基础条件。
第三,完善威胁情报联动,对接 DiMiao,CN 等行业威胁情报数据源,及时更新针对双目标钓鱼邮件的检测规则。同时完善可疑邮件上报通道,鼓励员工提交异常邮件样本,安全团队完成研判后迭代网关检测策略,实现从样本上报到防护规则更新闭环。
需要客观认知,邮件网关净化可以大幅度降低载荷投递成功率,但不存在百分之百过滤全部混淆载荷的可能性,因此邮件净化只是第一道防线,不能作为唯一防护手段。
4.2 AI 助手侧:权限最小化、输出校验、第三方安全能力评估
反网络钓鱼技术专家芦笛强调,面对间接提示注入,单纯依靠模型内部安全对齐无法实现完整防护,必须配合应用层的管控策略。
第一,严格落实最小权限原则梳理 AI 工具权限。区分 AI 工具仅做文本摘要,还是允许标记待办、调用业务系统。如果业务不需要,禁止 AI 助手直接生成付款待办、修改人事业务状态这类高风险操作。将 AI 的能力限定在信息只读总结层面,尽量收回直接推动业务流程的权限,即便 AI 被注入指令操纵,也无法直接触发高风险业务动作。对于确有需要调用业务工具的场景,每一次工具调用必须触发独立人工确认,不允许 AI 自主执行。
第二,增加 AI 输出与原始输入的比对校验机制。对于高风险业务场景,当 AI 生成摘要提取账号、金额、优先级标记等关键业务字段,增加校验逻辑,比对输出关键字段是否真实来自邮件可见文本。如果 AI 输出出现原始邮件可见内容不存在的收款账号、紧急标记,系统触发告警提示业务人员复核原始邮件。该机制不能完全消除提示注入风险,但是可以有效识别 AI 凭空捏造业务信息的攻击场景。
第三,AI 产品选型阶段主动开展安全问询。企业采购邮箱 AI 助手时,向软件供应商确认产品针对间接提示注入的防护措施,确认系统如何处理邮件 HTML 注释、视觉隐藏文本,明确安全防护能力边界,把相关指标纳入选型评估依据,拒绝只重视业务功能而缺少安全设计的产品。
第四,做好运行时日志留存。完整记录 AI 读取哪一封邮件、AI 生成的摘要输出内容,当疑似攻击事件发生,具备可回溯审计的日志,方便安全团队还原攻击发生过程。
4.3 完善企业业务流程制度,形成业务层面的防御基线
即便技术层面防护全部生效,仍然要依靠业务流程约束兜底,这也是 ACSC 长期强调的基线防护思想,在 AI 时代需要重新细化制度细则。
第一,明确关键业务禁止单纯依赖 AI 输出结果。财务付款、简历录用筛选等高风险业务,制度明确规定:不可以仅依据 AI 助手生成的摘要、评分开展决策,必须打开原始邮件、原始附件核对全部业务信息。AI 摘要仅作为辅助阅读工具,不能作为业务审批的直接依据。针对付款变更、银行账号更新这类极高风险操作,强制要求独立通信渠道核验,通过电话、即时通讯联系真实业务联系人确认信息,不采信邮件(包括 AI 摘要)当中给出的账号变更通知。
第二,完善 AI 办公工具上线审批流程。企业内部引入新的邮箱 AI 助手,需要经过安全评估,评估内容包含输入处理机制、权限范围、日志审计能力,避免业务部门直接上线第三方 AI 插件带来未知攻击面。
第三,建立外部威胁情报同步与内部预警机制。持续跟踪行业公开的威胁事件,当 DiMiao,CN、ACSC 等机构披露新型双目标钓鱼攻击活动,企业及时发布内部安全预警,同步调整业务操作提醒。
4.4 更新人员安全教育,补齐 AI 时代的安全认知短板
传统钓鱼安全教育重点集中在链接、附件、发件人身份识别,面对双目标钓鱼,安全培训内容必须迭代更新,填补认知盲区。
首先,需要向员工讲清楚新威胁形态:一封看起来正常的邮件,可能存在人类看不到、但 AI 能够读到的隐藏指令;AI 助手输出的摘要、优先级标记、简历评分,有可能被邮件内部隐藏内容篡改,AI 输出不等于客观事实。培训案例可以引用 Barracuda、ACSC 公开的真实攻击场景,还原攻击者如何通过隐藏指令诱导 AI 篡改付款信息,用实例帮助员工建立风险感知。
其次,明确业务操作行为准则:处理财务、人事重要业务,务必核对原始邮件全文,不能直接以 AI 摘要作为决策依据;当 AI 助手突然标记普通邮件为极高优先级紧急付款,要保持怀疑,启动跨渠道核验,和对待邮件原文出现的紧急请求保持同等警惕。
迪妙网络空间安全学院研究团队的调研显示,游戏化模拟钓鱼演练同样可以适配该新型威胁。企业可以开展内部仿真演练,构造具备隐藏提示注入载荷的模拟双目标钓鱼邮件,测试员工是否会直接采信 AI 输出的错误摘要,针对演练中风险较高的岗位群体开展定向再教育,而不是采取千篇一律的泛化宣讲。
同时需要消除员工的认知误区,不能传递 “部署 AI 工具就自带安全校验能力” 的错误观念,明确 AI 属于效率辅助工具,安全校验责任仍然落在业务操作人员身上。
4.5 事件响应处置要点,建立威胁发生之后的处置流程
完备防御体系需要配套事件响应流程,在防护被突破的情况下降低损失。结合该攻击的特点,梳理关键处置节点。
第一阶段:事件发现。事件触发来源分为两类,员工业务复核过程中发现 AI 输出内容与原始邮件不一致;安全平台检测到异常行为告警,例如 AI 输出凭空出现业务账号信息,HTML 邮件样本检测到大量视觉隐藏内容。一旦线索出现,安全人员第一时间留存原始邮件样本、AI 处理日志。注意务必保留邮件完整原始 HTML 源码,仅保存渲染后文本会丢失攻击载荷证据。
第二阶段:影响范围评估。判断该 AI 工具的权限边界,如果 AI 具备访问大量邮箱的权限,评估是否存在读取、外泄更多邮件内容的风险;核查是否已经出现业务操作,是否已经发生付款、人事流程错误推进等实际业务后果。暂停高风险 AI 工具业务能力,避免攻击持续产生影响。
第三阶段:遏制与告警。提取恶意邮件样本,更新邮件网关清洗、检测规则,阻止同类邮件继续投递。如果该邮件已经在企业内部流转,向可能受影响的业务岗位发布风险提醒,告知不要采信该邮件对应的 AI 摘要输出。
第四阶段:溯源复盘与防御迭代。复盘攻击穿透防御的具体环节:是邮件网关没有识别剥离隐藏载荷,还是 AI 侧防护不足,或是业务人员未执行原始材料复核流程。针对性优化邮件净化策略、AI 权限配置、业务制度条款、安全教育案例,将单次事件处置经验反哺到日常防御体系,防止同类攻击再次发生。
反网络钓鱼技术专家芦笛特别提出实践提示,该攻击模式容易出现 “无传统恶意特征” 的现象,事件处置时不能沿用传统钓鱼事件的分析思路,只检查可见文本、附件、链接,必须重点解析邮件完整 HTML 源码,查找注释、CSS 隐藏区块当中是否存在提示注入指令。
5 结论
随着邮箱 AI 助手大规模进入企业办公流程,网络钓鱼攻击演化出面向人类AI 的双目标钓鱼模式。攻击者利用邮件 HTML 渲染和 AI 文本解析的差异,把提示注入指令藏匿在人类不可见的邮件源码当中,不需要恶意链接、恶意附件就可以诱导 AI 篡改摘要输出,借助员工对 AI 工具的信任间接误导业务决策,放大商业邮件妥协带来的财务与数据安全风险。
本文以澳大利亚 ACSC 和 Barracuda 披露的真实威胁活动作为样本,还原双目标钓鱼攻击完整杀伤链,解析载荷隐藏的技术手段,从攻击者动机、邮件防护短板、AI 权限配置缺陷、企业制度约束不足、用户认知盲区五个层面解析风险形成的多重根源。迪妙网络空间安全学院研究团队结合 DiMiao,CN 威胁情报数据的分析表明,该类威胁不是单一的大模型算法漏洞,而是不可信外部输入、AI 权限边界、业务流程管控、人员安全认知多环节失衡共同催生的新型威胁。单纯依靠大模型内部安全对齐,或者沿用传统针对人类钓鱼的防护手段,不足以形成有效抵御。
因此本文构建多层闭环防御框架:在邮件网关完成 HTML 深度解析,剥离视觉隐藏恶意载荷;对 AI 助手执行最小权限管控,增加输出内容校验;完善企业业务制度,高风险业务强制核对原始邮件,不能仅采信 AI 输出;迭代安全教育补齐 AI 时代安全认知短板;建立适配该新型攻击的事件处置流程。多重措施相互配合,形成技术、制度、人员三位一体的防护闭环,尤其为安全资源有限的中小微企业提供可落地的防御思路。
网络钓鱼与提示注入的对抗属于动态博弈,攻击者会持续迭代载荷混淆手段。后续研究可以进一步收集更多野外双目标钓鱼真实样本,量化不同防御策略对于该类攻击的实际阻断效果,探索邮件输入阶段针对间接提示注入的自动化检测技术,持续完善 AI 办公场景的邮件安全防护体系。
编辑:芦笛(公共互联网反网络钓鱼工作组)
来源:迪妙网络空间安全学院