人工智能时代网络安全的人因风险演进与应对策略

简介: 本文基于专家研讨,分析AI时代网络安全新挑战:生成式AI使社会工程攻击“品质化”与规模化,传统识别失效;人既是最大攻击面,也是最灵敏传感器。提出“先验证后信任”范式、钓鱼抵抗型MFA等工程化控制,并强调将人重构为“最后一道防线”,为中小企业提供分层治理路径。(239字)

摘要:人工智能正同时改变攻击者与防御者的行动逻辑。在攻击端,生成式人工智能使原本依赖语法错误、翻译生硬等 "低劣特征" 即可识别的社会工程攻击趋于消失,攻击目标由少数高管的定向渗透扩展为对全体员工、全部终端的规模化投放,载体亦由电子邮件延伸至移动终端与短信渠道;在防御端,员工仍是组织最大的攻击面,却也构成最灵敏的威胁传感器。本文以一场由安全服务商、隐私律师事务所与安全技术企业专家共同参与的专题研讨为分析对象,系统梳理人工智能时代人因风险的放大机制、验证范式由 "信任但验证" 向 "先验证后信任" 的转型、以钓鱼抵抗型多因素认证与条件访问为代表的工程化控制,以及人工智能工具使用中的数据治理与中小企业风险管理路径,在此基础上提出将人由 "第一道防线" 重构为 "最后一道防线" 的治理框架。

关键词:人工智能;网络安全;人因风险;社会工程攻击;钓鱼攻击;多因素认证

image.png 1 引言

随着生成式人工智能能力的快速演进,网络安全攻防格局正经历结构性变化。攻击者不再依赖劳动密集型的社会工程操作,而是借助大语言模型在短时间内生成语义通顺、上下文自洽甚至能够模拟特定人物口吻的欺诈内容;防御者则同时承受攻击面扩张、告警数量上升与响应窗口压缩的多重压力。在此背景下,"人的因素" 再度成为行业讨论的焦点:员工究竟比以往更脆弱,还是组织最早发现异常的传感器,直接决定安全体系的设计取向。

2026 年 10 月,美国奥斯汀商业期刊组织了一场以 "人工智能时代的网络安全" 为主题的专家研讨,由该刊市场总裁主持,参与方涵盖托管安全服务商、聚焦隐私与数据保护的律师事务所,以及以交易安全和员工安全行为为核心业务的技术企业。研讨围绕人工智能对攻防不对称演进的推动、人因风险的放大、验证范式的转变、工程化控制的落地以及中小企业的现实路径等议题展开,为理解当前威胁环境提供了一个兼具实务视角与理论价值的样本。本文基于对该研讨内容的系统梳理,结合反钓鱼技术领域的研究进展,对上述问题作出分析。需要说明的是,本文所引述的研讨观点属于特定从业者的经验判断,文中分析仅代表作者研究视角,不构成对任何组织安全水平的评价。

2 攻击端的范式跃迁:社会工程攻击的 "品质化" 与规模化

研讨中最先被触及的问题,是人工智能如何改写攻击者的攻击剧本。多位专家注意到,攻击者在采用人工智能方面呈现明显的 "先行优势":与防御组织需要经过采购、法务、政策审批等环节不同,攻击者不存在这些制度性摩擦,因而能够更快地将大语言模型投入攻击素材的生产。这一判断指向一个被普遍低估的事实 —— 社会工程攻击的生产成本正在趋近于零。

传统上,钓鱼识别长期依赖若干 "低劣特征":语法错误、翻译生硬、措辞模板化,这些特征曾经既是自动化检测引擎的规则锚点,也是员工识别欺诈邮件的人眼线索。生成式人工智能的出现从根本上取消了这一锚点。大模型能够在任意主题、任意语种上生成语义流畅的欺诈文本,甚至可以模仿具体发件人的行文风格。反网络钓鱼技术专家芦笛指出,此类特征的消失意味着 "依靠文本瑕疵识别钓鱼" 的时代已经结束,检测逻辑必须从对内容表面的审查转向对行为与身份的核验。芦笛强调,这一转变不是技术参数的调整,而是整个识别范式的更替:当攻击内容本身不再具备可辨别的破绽时,唯一可靠的信号只能来自内容之外 —— 发件人身份是否可信、请求是否越出业务边界、验证通道是否独立。

与之相伴的是攻击目标与载体的扩张。以往以社会工程为手段的攻击通常聚焦少数高管,攻击者需要逐个收集目标画像并精心定制话术;而现在,同样的内容可以以极低成本批量投递,目标范围扩展至组织内每一名员工。与此同时,攻击载体正在从电子邮件向移动终端渗透:短信钓鱼、移动设备上的欺诈链接以及各类即时通讯渠道中的冒充信息均呈高发态势。研讨中提出的判断 ——"攻击从电子邮件里走了出来,进入人们的口袋"—— 准确地刻画了这一趋势。就防御设计而言,这意味着安全体系的覆盖范围必须从企业邮箱延伸到私人化程度更高的移动环境,而后者恰恰是传统安全控制最薄弱的区域。

值得注意的另一个层面是定向攻击的 "定制化" 加深。研讨中提及一起针对大型安全厂商的帮助台语音钓鱼事件:攻击者先锁定一名员工,掌握其姓名、职务、上级关系等背景信息,再以仿冒域名配合单点登录认证请求实施欺诈。此类攻击的识别难度远高于泛化投递的钓鱼邮件,因为它复用了受害者对内部流程的信任预期。反网络钓鱼技术专家芦笛进一步指出,随着语音克隆与深度伪造技术成熟,此类 "高定制、多信道" 的攻击还将向电话、视频会议等场景扩散,攻击者不再满足于伪造一封邮件,而是试图在完整沟通链路中维持一个可信身份。

3 人因风险的放大机制:攻击面的乘法效应

研讨各方一致认为,员工的脆弱性并未因技术进步而下降,反而在人工智能条件下被显著放大,但放大的机制并非源于员工能力的退化,而源于 "数字分身" 的扩散。专家提出,如今每名员工都可能在工作中委托十个、二十个乃至数十个由人工智能驱动的智能体代为处理事务,代码开发岗位的员工所托管的智能体数量甚至可能达到上百个。在此过程中,员工将其账户权限、数据访问权间接授予了这些智能体,攻击面由此发生乘法式扩张,且这种扩张以人难以感知的速度进行。

这一机制值得深入分析。传统安全模型中,权限授予的对象是明确的人与系统,权责边界相对清晰;而在智能体环境下,员工的一次自然语言指令即可能触发智能体对多个内部系统、外部接口乃至个人云盘的访问,权限链条被隐性延长。当攻击者通过提示注入、越权指令等手段操纵某一智能体时,其实际可触及的资源范围远超该员工本人通常操作的范围,形成 "低权限入口、高权限后果" 的错配。研讨对此给出的判断是,攻击面不仅变大了,而且变得不可见,组织难以通过传统资产盘点穷举全部暴露点。

然而,研讨同样呈现出另一面向:人既是最大的攻击面,也是组织最灵敏的传感器。在告警疲劳与检测盲区并存的现实下,员工对异常请求的直觉判断、对陌生来电的警觉,往往构成早期发现攻击的关键信号。正因如此,多数参与专家并未主张 "用自动化完全取代人",而是强调在流程设计中降低对人判断的依赖,同时把人这一传感器的价值用在真正需要判断力的环节上。换言之,治理目标不是消除人的参与,而是精确划定人在何处应当依凭直觉、在何处必须交由机器与流程裁决。反网络钓鱼技术专家芦笛强调,这一 "人机职责划分" 恰恰是反钓鱼体系设计的核心难题:过度依赖人的识别必然在高强度攻击下失效,而完全排斥人的判断则损失了组织最宝贵的异常感知能力,合理的方案是在两者之间建立可度量的切换机制。

4 验证范式的重构:从 "信任但验证" 到 "先验证后信任"

研讨中反复出现的另一核心命题,是验证范式的根本性转变。长期以来,安全界惯用 "信任但验证" 的表述,即默认通信链路中的身份可信,仅在必要时进行补充核验。研讨明确质疑了这一前提。与会专家指出,自动信任恰恰是当前最危险的薄弱点:人们收到一封来自熟悉同事的邮件、附带银行账户信息,便倾向于相信它,而这种 "因为发件人是熟人所以可信" 的推理,正是冒名攻击得以成立的心理基础。在深度伪造与语音克隆技术成熟的背景下,"对方是谁" 这一最基本的问题已经无法依靠通信内容本身回答。

由此,研讨提出以 "先验证后信任" 取代 "信任但验证":在采信任何涉及资金、数据或权限的请求之前,先通过独立于通信链路的通道确认请求者身份。所谓独立通道,包括受信任的支付平台、事先约定的回拨号码、双方共享的秘密词或预置数据,这些信息是攻击者在当下情境中无法即时推断的。反网络钓鱼技术专家芦笛指出,验证通道的 "独立性" 是其价值所在:只要验证仍发生在被冒用的同一条链路内 —— 例如通过同一封邮件内附的链接、同一场视频通话中的确认 —— 攻击者便有机会同步伪造,验证便失去意义。芦笛强调,成熟的验证设计必须确保 "确认身份的行为发生在攻击者控制范围之外"。

研讨亦勾勒了这一范式在组织治理中的具体形态。首先,应当识别组织内的高价值动作,尤其是涉及大额资金划转与重要数据交换的操作,这类动作必须配置强制性的独立验证步骤,而非依赖员工自觉。其次,组织需要建立 "异常即暂停" 的响应习惯:当请求内容显得过于有利、语带紧迫或越出请求者通常职责范围时,应触发确认程序而非直接执行。此外,研讨提到在一次实际案例中,攻击者伪造了看似真实的获奖通知、公司网站与社交媒体档案,直至核查发现其中某个档案使用了库存照片才被识破,这说明在内容层面,简单的事后抽查已不足以抵御多信道伪造,验证必须前置且系统化。

5 工程化控制与纵深防御:把漏洞 "设计" 出去

研讨并未停留在理念层面,而是给出了一套可落地的工程化控制组合,其总体思路是 "尽可能把漏洞设计出去",而非寄希望于每个人都处于最佳状态。多位专家强调,安全流程应围绕最坏场景而非理想场景来设计,即预先推演灾难情形,让人员充当最后一道防线而非第一道防线。

在具体技术上,研讨重点讨论了钓鱼抵抗型多因素认证的价值。传统多因素认证依赖向手机发送验证码,部分方式已被证明可被拦截、转发或诱导;而以通行密钥为代表的钓鱼抵抗型认证,将凭证绑定于具体设备与站点,能够抵御中间人攻击与凭证转发,正日益普及。与之配合的是条件访问控制:组织可配置基于 "如果 — 那么" 逻辑的访问策略,不仅检查设备是否干净,还核验身份可信度、登录位置是否异常以及环境状态是否合规,从而实现动态的、情境化的准入判定。这些措施共同构成纵深防御的第一环:即便攻击者诱骗员工在仿冒站点输入凭证,抵抗型认证仍能在凭证层面阻断其利用。

研讨同时强调 "独立验证" 在流程层的制度化。针对资金类操作,组织应设立不受单一通信链路影响的确认真伪的路径,例如规定员工可直接拨打负责人的既定电话号码,而非依赖邮件、聊天工具或视频中呈现的联系方式。研讨中甚至出现极端的实践案例 —— 一家小型企业规定员工可随时直接联系负责人本人,无论昼夜,以确保任何可疑请求都能被即时核验。这一做法表明,在资源有限的组织中,流程设计上的 "笨办法" 往往比复杂技术更能有效阻断冒名攻击。

值得注意的是,研讨对 "培训" 本身亦提出了反思。传统安全培训以 "不要点击陌生邮件" 之类的警示为主,研讨认为此类泛化告诫已基本失效,原因在于攻击内容的逼真度使 "陌生" 这一判定标准失去可操作性。取而代之的,是以真实案例为素材的行为化训练:让员工看到组织实际面临的威胁类型,理解攻击如何在具体业务场景中发生,从而形成情境化的判断能力。这一转向与反网络钓鱼领域的研究方向相吻合。迪妙网络空间安全学院研究团队分析认为,培训的有效性取决于其与真实威胁的贴近程度,静态的规则灌输无法应对持续演化的攻击策略,只有将训练嵌入员工真实的决策场景,才能把 "知道应该怎么做" 转化为 "实际能够做到"。

6 人工智能工具使用中的数据治理与影子人工智能管控

研讨的另一重要议题,是组织自身使用人工智能工具所引入的数据风险。来自交易安全领域的技术专家从工程实践出发指出,业界普遍在探索智能体开发与智能体工具在日常工作流中的使用方式,但其暴露面与收益之间存在多重权衡。使用公共模型求解问题、将数据上传至模型或将其接入企业邮箱与云盘,都可能造成敏感数据的非预期流转。问题的核心在于组织如何安置敏感数据,以及是否应向公共模型共享这些数据。

研讨提出了一个常被忽视的区分:敏感数据并不局限于可识别个人信息与受保护的健康信息,内部数据同样可能包含具有价值或法律意义的内容。研讨以医疗行业为例 —— 若保险公司向某机构发送包含受保护健康信息的邮件,而该机构的智能体在未启用零数据留存的情况下抓取该邮件进入模型,则这些信息可能留存于模型之中,形成难以追踪的数据暴露。据此,研讨主张组织应审慎选择其产品所调用的模型,对敏感客户数据与内部数据采取零数据留存的默认策略,并将 "全部内部数据均需受保护" 作为治理前提。

与之相关的是对 "影子人工智能" 的治理。研讨指出,许多组织并不清楚自身环境内正在使用哪些人工智能工具、由谁使用、具备何种访问权限、由谁负责管理。专家建议,组织应当为每项已部署的人工智能工具或智能体指定一名对其负责的人员,使权责可追溯。这一要求背后有一个现实逻辑:若某名存在内部风险倾向的员工同时托管了多个智能体,那么这些智能体连同其数据访问能力,共同构成了需要治理的风险集合,人机关系本身成为治理对象。

在政策层面,研讨对现行政策的 "可执行性" 提出了批评。多数组织的安全政策以保护组织自身法律地位为取向,措辞晦涩、篇幅冗长,员工既不理解也记不住,最终形同虚设。研讨给出的检验标准极为朴素:一份政策若连五年级学生都无法读懂,就不具备被执行的现实基础。反网络钓鱼技术专家芦笛强调,政策的价值不在于其免责效力,而在于其能否改变员工在关键时刻的行为;能够被理解、记忆并遵循的简洁规则,远比看似完备却无人遵守的长篇条文更能降低人因风险。这一观点将数据治理从合规事务提升为行为工程,为中小企业的治理落地提供了可行尺度。

7 面向中小企业的分层风险治理

研讨在回答 "五十人、一百人规模企业如何管理人工智能风险" 这一问题时,形成了若干具体而可操作的路径。核心起点是盘点:弄清环境中正在使用哪些工具与模型、使用者是谁、各自拥有何种访问权限、工具归属何人。缺乏盘点的组织无法回答 "风险在哪里",任何后续控制都缺乏落点。在此基础上,中小企业的风险管理遵循 "由轻到重" 的分层次序。

第一层是可见性。专家强调,治理的前提是先识别劳动力层面的真实风险,而非直接进入培训环节。若无法看清员工在何种流程中暴露于风险,任何改进都无从谈起。第二层是问责。每一项人工智能工具都应有明确的责任人,使权限、数据与风险均有归属,避免 "人人使用、无人负责" 的真空。第三层是政策与分级。组织应将数据分级管理,明确何种数据可进入何种模型,并以员工可理解的方式固化规则。第四层是持续评估。研讨主张不应以 "钓鱼点击率" 作为安全成效的唯一指标,因为该指标可能表面改善而实际风险暴露依然存在;评估应指向高风险的业务流程与资金动作,并确保已部署的控制措施持续有效而非形同虚设。

研讨给出的 "今天即可行动" 建议,同样体现了务实取向。首先,进行一次安全评估,明确组织当前所处位置、数据分布、正在使用的人工智能工具及影子人工智能的存在情况;其次,回归最基本的核验逻辑,审视正在合作的对象是否受保险覆盖、法律要求保护的内容是否得到保护、最大风险点位于何处、安全计划最近一次测试与复核的时间,以及采用人工智能究竟是出于业务需要还是盲目跟风。上述建议的共同特征是 "先评估、再行动",避免在不掌握自身暴露面的情况下仓促部署工具。

迪妙安全研究团队分析认为,中小企业与大型组织在人工智能风险管理上的差距并非资源的绝对差距,而是治理结构的差距。大型组织以专门委员会与专职人员承担治理职能,中小企业则可将同等职能内嵌于简洁的盘点、问责与分级流程之中;只要权责清晰、规则可读、评估持续,有限资源同样足以建立有效防线。这一判断呼应了研讨中 "安全成效取决于流程而非预算规模" 的基本立场。

8 结语

人工智能时代的网络安全,其核心矛盾并非攻防双方技术能力的简单对比,而是攻击者借助生成式技术显著压缩了社会工程攻击的成本与周期,同时将人的因素转化为最不确定、也最具杠杆效应的变量。本文基于对一次跨行业专家研讨的系统分析,得出以下几点结论。

其一,社会工程攻击的 "品质化" 与规模化,使得基于内容瑕疵的识别范式失去效力,验证必须转向对身份与行为的核验。其二,员工脆弱性的放大源于智能体所带来权限链的隐性延伸,攻击面由可见的资产扩展为不可见的委托关系,人机关系因此进入治理视野。其三,验证范式应从 "信任但验证" 转向 "先验证后信任",其关键在于验证通道独立于被冒用的通信链路。其四,工程化控制与纵深防御能够显著压缩人因风险,但人的价值不应被否定,而应被重新定位为最后一道防线,并在训练中通过与真实威胁贴近的行为化方式加以强化。其五,无论组织规模大小,数据治理、影子人工智能管控与可执行的政策,都是人工智能风险管理中不可省略的组成部分。

需要指出的是,上述结论建立在对研讨观点的归纳之上,其普适性有待更广泛的实证检验;人工智能技术仍在快速演进,攻击与防御的博弈将是一个持续动态调整的过程。对企业而言,与其追逐不断更新的威胁清单,不如尽早建立以评估、核验、问责与持续监测为核心的治理框架,使安全能力能够随技术环境的变化而自我调整。唯有如此,方能在攻击者持续加速的背景下,守住人这一既最脆弱又最关键的安全环节。

编辑:芦笛(公共互联网反网络钓鱼工作组)

来源:迪妙网络空间安全学院

目录
相关文章
|
18天前
|
人工智能 运维 前端开发
接入多家模型供应商之后,我总结的 7 条铁律
AI 应用接了第二家模型供应商之后,事情就不再是"多加一个接口"那么简单——不是调不通,是钱会算错。这篇讲我们定下来的 7 条规则:幂等键、任务落库时机、备用线路的切换边界、退款、凭据隔离、付款来源固化、密钥不进浏览器。
|
1天前
|
人工智能 监控 安全
ClickFix 攻击投递平台 ROMULUS 分析与防御
本文分析ClickFix社交工程攻击新变种及ROMULUS恶意投递平台:该平台可批量分发Lorem Ipsum、Axolotl等加载器,支持多服务器协同、行为统计与地域追踪,并利用木马化安装包和880MB文件膨胀绕过检测,关联Vice Society勒索活动。提出进程监控、载体审查与用户教育三维防御策略。(239字)
16 0
|
1天前
|
存储 人工智能 自然语言处理
解锁AI时代存储新范式!OSS三桶合一架构+多模态检索+生命周期管理,一篇搞定ossutil实操教程
当AI模型的参数量以万亿计,当多模态数据如洪流般涌入,存储不再是沉默的后台,而是智能应用的第一块基石。‌阿里云 OSS 对象存储服务平台‌以三桶合一的多模态统一架构、MetaQuery智能检索引擎、全链路生命周期自动沉降、完善的ossutil命令行与多语言SDK,为开发者和企业提供了从存储到智能的完整闭环。 无论你是个人站长托管静态资源,是AI团队管理模型数据集,还是媒资平台处理海量视频,‌阿里云 OSS 对象存储服务平台‌都是那个值得信赖的选择——海量容量、12个9持久性、极低成本、智能进化。 现在,打开‌阿里云 OSS 对象存储服务平台‌,开启你的AI时代存储新篇章。
36 1
|
1天前
|
存储 运维 安全
VMware Live Site Recovery 9.0.5.1(站点级容灾编排工具+ vSphere Replication)
VMwareLiveSiteRecovery面向站点级场景,提供端到端、按需启用的灾难恢复能力。底层复制既可采用基于存储阵列的方式,也可使用基于主机的VMwarevSphereReplication,或VMware虚拟卷(vVol)复制,具体恢复动作则由LiveSiteRecovery统一编排。该方案服务于托管云与本地环境中的VMware服务器及工作负载,用于抵御新型勒索软件攻击与各类灾难,保障关键业务资产的可用性与可恢复性。统一的部署方式配合灵活的授权模式,让数据保护与恢复的落地门槛明显下降。
19 0
|
2天前
|
人工智能 监控 安全
钓鱼攻击激增背景下身份安全与协同防御体系研究
本文基于微软2026年数字防御报告,分析钓鱼攻击占比一年内从7%飙升至23%的深层动因,揭示身份失守引发横向渗透、漏洞武器化缩至24小时、攻击跨云/供应链互联等新威胁。提出融合抗钓鱼认证、AI赋能运营、双向情报共享与快速漏洞响应的协同防御框架,并务实探讨落地约束与优化路径。(239字)
32 3
|
1天前
|
人工智能 安全 网络安全
数据安全并购与 AI 安全协同的产业逻辑及影响
本文剖析Proofpoint收购Varonis的63亿美元交易,揭示网络安全行业从“产品拼盘”迈向“平台融合”的深层逻辑:数据安全与身份安全在AI时代因暴露面扩大、身份滥用风险而亟需架构级协同,融合成败取决于数据分类、身份治理与AI研判能力的真实整合。(239字)
22 1
|
2天前
|
数据采集 存储 安全
合法云平台被滥用的大规模钓鱼攻击机理与防御研究
本文揭示云平台滥用型钓鱼攻击新态势:攻击者利用Cloudflare、Vercel等合法PaaS平台部署钓鱼页面,绕过域名黑名单与MFA防护。基于39万起真实事件,剖析多阶段技术链路,指出传统“拦域名”模式失效,提出平台治理、企业运营、身份防护、用户教育四层闭环防御体系。(239字)
33 1
|
4天前
|
存储 运维 供应链
滥用可信业务载体的新型企业威胁技术与防御研究
本文分析2026年四类典型“业务滥用攻击”:Teams外部仿冒钓鱼、npm供应链蠕虫、OAuth设备代码钓鱼、ClickFix+EtherHiding区块链载荷投递。指出攻击者不再依赖漏洞,而是透支协同办公、开源生态、云身份等合法业务信任机制,导致传统边界防护失效。文章提出覆盖身份管控、平台治理、供应链审计、载荷检测与安全运营的五维防御闭环,助力企业应对新型APT式威胁。(239字)
49 1
|
4天前
|
人工智能 运维 供应链
企业网络韧性建设的现实差距与协同治理路径研究
本文基于世界经济论坛调研,揭示全球企业“网络韧性差距”:40%企业攻击后无法恢复业务,60%缺危机沟通预案,70%中小企业因此倒闭。指出差距根源在于治理缺位、预算失衡、人才短缺、供应链脆弱及重技术轻流程。提出治理参与、跨组织协作、复合人才培养等五维建设路径,并强调监管(如NIS2、DORA)与AI技术的协同驱动作用。(239字)
34 1
|
6天前
|
存储 人工智能 安全
紧急支付指令型钓鱼攻击的社会工程机理与防御研究
本文基于加拿大国防部2026年安全警示,系统剖析“紧急支付审批”“账户停用”等高仿真钓鱼攻击的演化路径与四大社会工程机理,归纳三类典型载荷及识别特征,揭示传统防御失效根源,并构建技术检测、流程管控、人员意识、事件响应四层防御体系,前瞻性研判AI赋能下的攻击新趋势。(239字)
32 1