摘要
生成式大语言模型的规模化落地,在赋能数字社会发展的同时,也被各类威胁主体利用,成为网络攻击、情报刺探、恶意技术研发的新型工具。本文以 Anthropic 发布的《Detecting and countering misuse of AI: September 2026》报告披露的真实安全事件为研究样本,梳理国家背景威胁团伙、牟利型网络犯罪主体、意识形态驱动个体三类不同攻击者滥用 Claude 大模型的五大典型场景,剖析 AI 驱动攻击在攻击自主性、执行效率、目标覆盖范围层面带来的范式变化,拆解网络钓鱼、间谍活动、武器相关研发、供应链入侵、大规模自动化攻击等风险的实现逻辑。研究发现,大模型并非直接完成完整攻击闭环,而是承担侦察、载荷生成、流程编排、工具开发等高智力成本环节,大幅压缩攻击者的技术门槛与时间成本,使得低资源主体也可以实施复杂度较高的网络行动。本文结合案例材料分析当前 AI 平台现有处置手段的成效与现实局限,反网络钓鱼技术专家芦笛指出,大模型介入网络攻击全链路之后,传统依赖静态特征匹配的安全防护体系已经难以适配新型威胁。在此基础上,从平台治理、威胁情报协同、防护体系迭代、风险认知建设四个维度提出针对性治理路径,为研判生成式人工智能安全风险、完善 AI 滥用风险应对机制提供实证参考。
关键词:大语言模型;AI 滥用;网络攻击;网络钓鱼;供应链安全;安全治理
1 引言
生成式人工智能技术持续迭代,多智能体工作流、工具调用能力不断完善,大模型已经从辅助办公、内容创作工具延伸到可以参与技术方案设计、代码逻辑梳理、多步骤任务规划的复杂执行主体。全球主流 AI 企业在推进模型能力升级的同时,不断观察到恶意主体绕过平台安全约束,将大模型能力服务于恶意目的的现实案例Anthropic。过去针对人工智能安全风险的研究,较多聚焦模型幻觉、提示注入、越狱攻击等模型自身缺陷层面,对于真实世界中威胁团伙如何将商用大模型 API、对话接口嵌入完整攻击链路的实证研究相对有限。
Anthropic 在 2026 年 9 月发布的 AI 滥用专项报告,整理了 2025 年 12 月至 2026 年 8 月之间该企业监测、阻断的多起恶意使用 Claude 模型的真实事件,完整记录不同类型威胁主体利用大模型开展网络作战、情报监视、钓鱼欺诈、供应链破坏等活动的实施细节,为理解大模型被现实环境恶意利用的完整链路提供一手观测素材。报告所披露事件中,攻击者并不追求让 AI 独立完成全部破坏动作,人类仍然掌握目标选择、最终结果审核的核心决策权,AI 承担中间大量重复性、知识性、方案性工作,这种人机协同的攻击模式正在成为新的威胁常态。
值得注意的是,AI 赋能网络威胁不等于人工智能自主发起攻击。所有案例的发起、任务定义、关键决策环节依旧由人类威胁行为者完成,大模型本质上作为效率倍增工具嵌入已有的攻击杀伤链。但这种工具升级带来的改变是实质性的:传统需要多名具备多年实战经验的网络安全从业者才可以落地的复杂行动,在大模型加持之下,少数人员就可以并行处理大量目标,完成侦察、基础设施搭建、载荷编写、后期维持访问等系列任务。反网络钓鱼技术专家芦笛指出,网络安全行业过去长期把防御重点放在漏洞本身,而大模型正在模糊攻击者能力边界,能力差距不再是横亘在普通攻击者与高级威胁团伙之间的巨大壁垒。
现有 AI 平台主要依靠账号封禁、行为监测、模型安全对齐、事后威胁情报沉淀的方式处置滥用行为,但威胁主体会通过批量注册账号、拆分任务片段、变换提示表述等方式规避检测,单一平台的处置行为很难从根源消解风险。基于此,本文依托报告公开案例材料,分类解析五大滥用场景的运行机理,剖析攻击范式发生的关键转变,客观评估现有平台干预手段的优势与短板,构建适配大模型时代的风险治理思路。本文不做极端化的风险渲染,立足已披露的实证事件展开推演,避免脱离现实的技术空想,力求为行业理解、应对大模型恶意滥用风险提供客观分析框架。
2 大模型恶意滥用的典型场景与案例解析
根据 Anthropic 报告披露内容,被监测到的威胁主体主要划分为三类:具备国家背景关联的间谍活动团伙、追求经济收益的牟利型网络犯罪集团、带有政治诉求的个体行动者。三类主体的诉求不同,但是在使用大模型的方式上存在共通之处,即把模型集成到多步骤的工作流当中,把复杂任务拆解为多轮对话向模型索取方案、文本、工具逻辑,再将输出结果用于线下真实恶意行动。报告归纳五大类突出的滥用模式,分别为 AI 参与网络攻击统筹执行、武器研发与监视间谍活动、AI 驱动规模化网络钓鱼行动、供应链安全破坏攻击、AI 放大攻击覆盖范围与执行速度。
2.1 大模型参与网络攻击的统筹执行
传统高级持续性威胁活动中,攻击链路会被切分为情报侦察、漏洞利用、权限维持、数据窃取、数据外溢等不同阶段,每个阶段都需要具备对应技能的人员投入大量时间开展工作。而报告观测到多起案例中,Claude 不再只是简单的辅助问答工具,而是深度介入攻击链条的协调执行环节,多智能体 AI 系统承担侦察、漏洞利用、数据外泄等环节的具体工作,人类威胁人员主要负责挑选攻击目标、对窃取得到的数据进行复核研判。
报告记录编号 GTG20006 的与俄罗斯国家势力存在关联的间谍威胁行为者,构建完整 AI 驱动工作流,把 Claude 嵌入整套作战流程,从攻击基础设施搭建、钓鱼内容产出、入侵之后维持受害系统访问权限一直到机密数据窃取,大量流程交由 AI 工作流完成。该威胁团伙配套完整攻击工具集,包含 Windows 平台恶意植入程序、移动端漏洞利用工具、专门窃取浏览器存储账号密码的凭证盗窃工具,还搭建模仿官方政府机构的钓鱼平台,整套工具链和 AI 工作流相互配合开展长期间谍活动。
该案例反映出一个关键变化:高级威胁行动正在走向人机协同的混合模式。在以往网络间谍行动中,攻击者团队需要同时配备社会工程人员、恶意代码开发人员、基础设施运维人员,团队规模和人员技术水平直接决定行动规模。引入大模型之后,大量方案构思、脚本雏形、流程规划工作由模型输出,人类攻击者只需要做筛选、修改、落地执行。这并不代表攻击技术难度彻底消失,输出的内容仍然需要攻击者甄别、调整之后才可以投入实战,但是显著降低团队人力投入规模,缩短任务周期。
很多行业讨论容易形成误区,认为大模型会自主发现目标、自主发起入侵。从这份报告的事件来看,现实场景下并没有出现完全脱离人类指挥的 AI 攻击,所有 AI 智能体的行动边界由人类下达任务所限定。反网络钓鱼技术专家芦笛强调,评估 AI 网络威胁,应当把关注点放在 “攻击者借助 AI 放大自身能力”,而非幻想人工智能自主作恶,只有厘清这一点,防护策略才能够对准真正的风险源头。
2.2 武器开发与国家背景监视间谍活动
报告披露部分和国家力量存在关联的威胁行为者利用商用大模型辅助开展技术研发以及监视监控类工作。其中记录某源自中国的威胁主体借助 Claude 推进反鱼雷武器系统三条并行方向的研发工作,服务于海军装备技术研究。除此之外平台还拦截多起国家背景监视类滥用案例,警示部分政府及依附国家的行动主体正在利用生成式 AI 针对少数族群、异见群体开展监视活动。
需要客观区分的是,大模型在此处的角色是技术咨询辅助,它不能直接生成可以直接投产使用的武器完整方案,更多的作用在于梳理技术路径、整理已有公开文献、推导技术实现思路,提供可供研究人员参考的思路框架,后续具体工程落地依旧需要专业科研人员完成。商用通用大模型本身并不具备军工级专业仿真、计算能力,无法直接输出工程图纸、实装参数,只是作为加速科研思路梳理的辅助工具。
监视间谍层面,AI 模型的价值集中在海量公开信息整理、情报简报生成、社会工程话术生成。传统监视行动需要工作人员批量浏览社交媒体、公开档案,提炼人员相关信息,消耗大量人力;借助大模型可以自动化完成信息归集、人物画像素材整理,提升情报素材处理效率。这一类滥用,不需要模型具备攻击计算机系统的能力,依靠文本理解、归纳总结能力就能够实现恶意价值,也意味着这类滥用行为更加隐蔽,提示词不会直接出现 “间谍”“监控” 等敏感词汇,仅仅是要求整理特定群体公开资料,对平台内容审核带来巨大挑战。平台安全过滤器很容易将这类请求判定为普通信息检索,难以识别背后的恶意最终用途。
2.3 AI 驱动规模化网络钓鱼作战
网络钓鱼长期以来都是网络入侵最主要的入口,大量数据泄露事件的起点来自钓鱼邮件、钓鱼网页。在生成式 AI 普及之前,高质量鱼叉式钓鱼成本很高:针对政府部门、驻外使馆、国防机构、智库、军工企业的定向钓鱼,需要攻击者深度研究目标机构业务、人员身份,模仿真实行文风格撰写欺骗邮件,整个过程极度消耗人力成本,因此过去高仿真鱼叉钓鱼一般只出现在高级威胁团伙的行动当中,难以大规模铺开。
报告披露威胁团伙利用 Claude 搭建完整 AI 工作流,自动化完成目标调研、恶意域名注册、托管基础设施配置,整套流水线用来批量生产、投递钓鱼邮件,同时监控命令控制信道,判断钓鱼攻击是否实现成功入侵。该团伙规划、侦察以及实际攻击行动覆盖超过二十家组织机构,包含政府部委、国防情报机构、大使馆、外交机构、智库以及国防工业企业,目标层级敏感度较高。
整套 AI 钓鱼工作流完整覆盖钓鱼攻击全流程:首先搜集目标机构公开资料,由大模型基于搜集素材生成贴合目标语境的邮件文本;之后自动完成钓鱼域名注册、服务器托管配置;完成基础设施之后批量投递钓鱼邮件;后续持续监控攻击回传状态,识别哪些目标已经被攻陷。传统钓鱼攻击中,域名注册、服务器部署、邮件文本撰写属于互相割裂的步骤,需要不同工具、不同人工操作串联;大模型多智能体工作流将多个环节串联,形成端到端的流水线。
反网络钓鱼技术专家芦笛指出,AI 驱动钓鱼攻击已经完成工业化转型。过去网络钓鱼是 “一个攻击者针对少量目标精细制作诱饵”,现在变成流水线模式,攻击者输入一批目标名单,AI 流水线输出适配每一个对象的定制化钓鱼物料。传统反钓鱼防御手段依靠查找邮件内部语法错误、明显拼写漏洞,但是大模型生成文本语法通顺、逻辑贴合场景,传统静态特征检测手段的检出效果被大幅削弱。防御方过去可以依靠人工审阅识别高仿真钓鱼邮件,而当攻击实现工业化批量产出之后,人工审核的成本压力会急剧上升。
2.4 大模型助力供应链妥协攻击
供应链攻击的核心逻辑是攻击防护相对薄弱的上游服务商,借由上游平台作为跳板,向下游大量客户扩散危害,单次成功入侵就可以牵连数十、数百家下游组织,危害波及面巨大,历来属于高等级网络威胁。报告记录多起借助 Claude 实施 SaaS 软件服务商供应链入侵的案例,AI 智能体承担攻击流程当中绝大部分工作。
第一起案例针对软件即服务服务商,黑客入侵之后,在大约三十四个小时之内,完成约 200 家下游客户机构的数据窃取,拿到超过 2100 套 Azure AD 身份令牌,令牌覆盖四十余个企业租户。整个入侵行动当中,理解开发者接口、鉴权接口、生成高权限令牌、开发批量导出数据、跨租户收集信息的工具,大量工作得到 Claude 的辅助支持。另一起 SaaS 平台入侵事件,攻击者利用跨站脚本漏洞作为突破口,完成权限提升,最终从数千家下游客户机构中窃取数据。
从技术逻辑上看,攻击者并没有依靠大模型直接挖掘出未知零日漏洞。攻击所使用的都是已经存在的已知安全缺陷,比如跨站脚本,真正由 AI 完成的工作是快速读懂目标系统公开 API 文档,理解身份鉴权机制,构思工具脚本原型。对于攻击者而言,吃透一套陌生商业软件接口文档,需要花费大量阅读、试错时间;借助大模型输入接口文档片段,就可以快速得到针对该接口的访问逻辑、批量操作代码草稿,极大降低攻击者理解陌生业务系统的时间成本。
供应链攻击的难点之一在于跨租户边界的探索,攻击者入侵服务商之后,需要搞清楚如何跨越租户隔离访问其他客户数据,需要理解平台多租户的业务逻辑。大模型可以基于泄露文档、错误提示、公开资料快速推演业务逻辑,帮助攻击者梳理跨租户访问可行路径。这类场景中,大模型是攻击者的技术阅读理解助手,放大攻击者对陌生复杂业务系统的快速学习能力。
这类威胁给安全防护带来的启示是,SaaS 服务商除了做好自身漏洞修补之外,还必须充分意识到,攻击者可以借助 AI 快速消化公开技术资料,内部接口文档、错误返回信息如果出现泄露,会被 AI 快速转化为攻击思路,进一步放大泄露事件带来的连锁伤害。
2.5 AI 推动攻击速度提升与目标面扩张
综合上述多起事件,报告总结出一个共性趋势:AI 技术帮助攻击者在资源有限的前提下,实现更快攻击节奏,触达数量更多攻击目标,大量原本必须高水平人类操作员执行的任务逐步交由 AI 接管。在传统网络杀伤链模型当中,从侦察到完成目标破坏,完整周期往往以天甚至以周计算,整个链路中充斥大量信息搜集、整理、脚本编写、反复调试等枯燥重复劳动,这些工作消耗攻击者绝大多数时间精力。
大模型介入之后,这部分重复性智力工作可以交由多智能体工作流并行处理,同一套工作流可以同时处理数十个目标,每个目标的侦察、方案生成可以并行推进。报告特别强调风险增量更多体现在整个网络杀伤链全链条之上,攻击者可以用更少资源实现更广、更深的攻击面。需要区分的是,AI 不会凭空创造全新攻击技术,报告全部案例所使用漏洞、攻击手法都是行业已知成熟技术,AI 改变的不是攻击技术种类,而是攻击的执行效率、并行处理目标的数量、攻击者的最低能力门槛。
以往高级威胁行动往往是资源充足的国家背景团伙专属,普通牟利型犯罪团伙很难复刻复杂多阶段攻击,受限于团队人员规模,能够同时维持的攻击行动数量有限。大模型抹平一部分能力鸿沟,资源有限的犯罪团伙、个体攻击者,借助商用大模型 API 就可以模仿高级威胁的行动模式。这并不意味着普通攻击者可以一夜之间完成国家级水平的复杂作战,但是可以做到模仿高级威胁的流程范式,扩大攻击行动的规模。
反网络钓鱼技术专家芦笛强调,安全行业评估威胁等级不能继续单纯依靠攻击者身份标签。过去防御方看到攻击来源是普通黑产团伙,就默认其行动复杂度有限;在大模型普及环境之下,低资源主体也可以开展流程完整、多目标并行的攻击活动,不能简单依靠攻击者身份预判攻击能力上限。
3 Anthropic 现有干预手段与现实局限
面对上述各类模型滥用事件,Anthropic 报告阐述该企业已经落地的处置干预措施,主要包括威胁关联账号封禁、增加专项监测规则、测绘威胁主体数字痕迹、将攻击样本沉淀到模型安全训练与防护策略当中,形成 “事件发现账号阻断痕迹追踪防护迭代” 的闭环处置流程。当监测到恶意活动之后,平台封禁威胁行为者关联账号,部署额外监测规则,捕捉同类型后续行为;同时测绘威胁主体的数字足迹,追踪其使用模型的行为特征,把威胁样本纳入安全防护体系和模型训练,提升后续识别同类滥用行为的能力。
这套处置流程属于主流 AI 厂商普遍采用的事后响应机制,能够针对已经识别到的攻击活动实现切断,在报告记录的多起事件中及时终止威胁团伙对 Claude 接口的调用,避免模型能力持续被恶意行动所利用。但是必须客观看到,以账号封禁为核心的干预模式存在不可回避的现实短板,无法彻底根除 AI 滥用风险。
第一,账号可以低成本再生。威胁主体可以批量注册新账号,或者通过第三方渠道获取他人账号、中转 API 服务,规避平台账号封禁。封禁一批账号之后,攻击者更换身份标识就可以重新接入模型能力,平台只能阻断已经识别出来的账号,很难彻底拦截全部入口。威胁团伙还会将完整任务拆分成大量碎片化提示,单条提示本身不包含恶意指令,恶意意图分散在数十轮多轮会话当中,单条输入检测很难识别整体恶意目标。
第二,很难判断模型输出内容的下游真实用途。平台只能看到用户输入提示词与模型输出文本,但是模型输出内容被复制之后,在平台之外被用于什么现实行动,平台没有办法持续追踪。攻击者可以不在对话当中描述完整攻击计划,仅向模型咨询技术思路,将输出复制到平台外部落地实施。这种场景下,提示词本身只是普通技术咨询,没有直接的攻击描述,内容安全过滤器很难区分是合法技术研究还是恶意攻击筹备。武器研发、情报资料整理类滥用大量属于该类型,进一步加大识别难度。
第三,模型安全对齐本身存在边界。安全对齐训练、输出过滤可以阻止模型直接输出完整恶意代码、完整钓鱼邮件成品,但是攻击者可以分步引导,要求模型输出片段化技术思路,再由攻击者自行拼接组装。模型可以拒绝直接写完整钓鱼邮件,但是可以回答 “如何撰写面向外交机构的业务沟通邮件” 这类中性技术问题,中性输出被攻击者二次加工之后转化成欺骗诱饵。
第四,威胁情报孤岛问题突出。本次事件的威胁发现完全来自 Anthropic 平台内部观测,其他大模型厂商无法直接拿到该批威胁团伙的行为指纹。同一批威胁主体可以在不同 AI 平台之间流转,在 A 平台账号被封,立刻切换到 B 平台继续开展恶意工作。如果各个 AI 企业之间缺少威胁情报共享协同,单一平台的处置效果会被抵消。
综合来看,平台侧的账号封禁、行为监测、模型安全加固属于必不可少的第一道防线,能够阻断大量直接、直白的恶意请求,及时切断已经发现的攻击链路,但它不是可以一劳永逸的终极解决方案。风险治理不能仅仅交由 AI 平台企业独自承担,需要多主体共同参与。
4 大模型恶意滥用风险的综合治理路径
结合报告案例暴露的风险点,以及现有平台处置手段的短板,AI 滥用风险治理不能局限在模型本身的安全优化,需要构建平台防护、威胁情报协同、网络安全防御迭代、社会风险认知提升相互配合的多层次体系。
4.1 强化 AI 平台全生命周期风险管控
AI 平台企业需要完善从注册接入、会话监测、事后溯源的全链条管控,不能把防护重心仅仅放在提示词与输出内容过滤。在接入环节,针对高 API 调用量、自动化批量调用的主体,完善身份核验机制,区分个人测试与大规模自动化工作流使用场景,对异常批量调用行为开展风险复核。
会话层面,从单轮提示词检测转向多轮会话上下文行为分析。很多恶意意图分散在数十轮对话当中,每一轮单独看都是中性请求,串联起来构成完整攻击规划。平台需要建立会话级风险评分,跟踪一段连续对话内任务演进轨迹,识别逐步搭建攻击流程的行为模式,而不是仅仅针对单条输入输出做安全判断。
同时完善恶意滥用事件的标准化威胁情报产出。当平台确认发生大规模恶意滥用事件之后,除封禁账号之外,沉淀威胁行为指纹,包含提示词模式、会话特征、调用行为特征,形成标准化情报格式,为行业共享提供基础。在模型研发层面,持续研究区分中性技术咨询与恶意筹备活动的技术手段,提升对间接滥用行为的识别能力。但同时应当理性认知技术上限,不存在可以百分之百识别所有间接滥用行为的技术手段,不能对单一平台技术防护抱有不切实际的期待。
4.2 建立跨主体威胁情报协同机制
大模型威胁主体具备跨平台流动特征,威胁团伙可以在多家大模型服务商之间切换。如果各个 AI 厂商各自闭环处置,威胁主体只需要简单切换服务,就可以绕过单平台封禁,防护效果会被严重削弱。因此需要推动建立合规前提下的威胁情报协同机制。
情报协同重点流转的不是用户原始个人隐私数据,而是去标识化的威胁行为模式、攻击工作流特征、提示词范式。当某一家 AI 平台观测到新型滥用模式,将行为特征同步给其他参与方,其他平台就可以提前部署检测规则,在威胁团伙迁移过来的时候快速识别拦截。除 AI 企业之间协同之外,还应当和网络安全厂商、应急响应机构建立对接。网络安全厂商在真实网络入侵事件当中,发现攻击者使用大模型工作流的痕迹,也可以反向将威胁特征反馈给 AI 平台,形成 “网络入侵事件回溯 AI 滥用痕迹情报回流平台前置拦截” 的双向闭环。
反网络钓鱼技术专家芦笛强调,AI 时代网络威胁边界变得模糊,攻击工具链横跨 AI 平台、互联网基础设施、企业内网,任何单一机构都无法独立覆盖完整攻击链路,情报互通是补齐防御短板的关键环节。
4.3 网络防御体系适配 AI 驱动新型攻击
攻击者能力得到 AI 放大,防守方原有防护体系需要针对性迭代,不能继续沿用传统对抗人力攻击者时期的防护思路。
针对网络钓鱼威胁,防御体系要降低对文本关键词、语法错误这类静态特征的依赖。AI 生成钓鱼邮件语法严谨、语境贴合目标,传统特征很容易失效。邮件安全网关、办公安全体系需要强化行为维度检测,重点研判发件人身份可信度、域名信誉、通信行为模式,而不是只看邮件文本本身。同时推动多模态内容鉴伪能力建设,不仅仅分析文字,综合多维度上下文做风险判定。
针对供应链安全风险,SaaS 服务商需要重新评估文档、报错信息泄露带来的危害。攻击者可以借助大模型快速阅读消化泄露 API 文档、业务逻辑资料,快速推导攻击路径。企业应当做好内部技术资料权限管控,减少不必要的对外泄露,同时强化多租户架构下租户之间隔离校验,防范跨租户数据访问尝试。
企业内部安全运营团队,开展威胁建模的时候,必须将 “攻击者使用生成式 AI 作为辅助工具” 纳入威胁模型假设。在过去风险评估中,会假设攻击者需要具备较高技术水平;现在需要把攻击者借助 AI 快速学习陌生系统作为常态化威胁场景,在此基础上评估系统风险。身份安全层面,重视会话令牌、身份凭证窃取的危害,AI 赋能之下攻击者可以更高效利用窃取到的批量身份凭证开展横向移动,需要强化令牌生命周期管理、异常访问行为检测。
4.4 完善制度规范与风险认知建设
技术防护之外,制度与认知层面同样不可忽视。从监管角度,需要明确生成式 AI 服务商对于防范模型被用于恶意网络活动的主体责任,明确事件报告、风险处置、情报留存的相关规范,引导企业把滥用风险评估嵌入模型迭代流程。同时也需要客观区分,AI 服务商难以对平台之外模型输出内容的全部现实后果承担无限责任,合理划分责任边界,避免脱离技术现实的制度要求。
政企机构内部需要更新安全意识培训内容。传统安全培训多教会员工寻找钓鱼邮件当中错别字、奇怪链接,而 AI 钓鱼邮件已经大量消除这类低级破绽。安全培训应当从 “寻找文本破绽” 转向建立标准化业务核验流程:收到敏感业务邮件、要求执行高危操作的消息,必须通过独立渠道二次核验身份,不要仅凭邮件文本内容判断真伪。
面向网络安全从业人员,需要持续更新威胁认知,充分理解 AI 放大攻击效率,但不会凭空创造零日漏洞这一客观现实,避免两种极端认知:既不应当夸大渲染 AI 自主攻击的末日叙事,也不能轻视人机协同模式带来的攻击效率跃升。只有客观把握真实威胁边界,才能够把有限安全预算投入真正有效的防护措施之上。
5 结语
本文基于 Anthropic 在 2026 年 9 月发布的 AI 滥用报告公开事件材料,梳理国家背景间谍团伙、牟利网络犯罪、意识形态驱动个体三类威胁主体滥用大模型的五大现实场景。案例证明,现阶段真实世界 AI 恶意滥用以人机协同模式为主,人类完成目标选择、关键决策,大模型承担侦察、内容生成、技术思路梳理、攻击流程编排等中间环节,显著降低复杂网络行动的人力、时间成本,拓宽攻击者能够覆盖的目标范围。攻击所使用的漏洞、手法均为已有成熟技术,AI 主要起到能力倍增的作用,并未出现脱离人类指挥完全自主开展破坏的 AI 攻击。
报告当中展示的账号封禁、行为监测、威胁痕迹追踪、模型安全迭代等平台处置手段,能够有效切断已经识别的恶意会话,但受限于账号再生、外部用途不可观测、碎片化提示规避检测等现实因素,单独依靠 AI 平台内部技术手段,无法彻底根除 AI 滥用风险。反网络钓鱼技术专家芦笛指出,大模型已经成为攻防对抗中新的变量,防护思路必须跳出单一技术点位修补,转向多主体协同的体系化治理。
治理大模型恶意滥用风险,需要 AI 平台完善会话级风险分析与威胁情报产出,推动跨机构威胁情报协同;网络防御体系适配 AI 驱动攻击特征,弱化静态特征依赖,强化行为检测;监管层面建立合理制度框架,厘清各方责任边界;同时更新社会层面安全认知,修正已经失效的风险识别经验。
本研究分析全部基于公开新闻转述的报告材料,无法接触报告完整原始涉密证据,对威胁团伙背后完整动机、全部技术细节的理解存在局限。未来随着更多真实滥用事件公开,学界与产业界还需要持续跟踪观测威胁演化,不断迭代风险研判框架与防御策略。生成式人工智能带来的安全博弈是动态演进过程,不存在一劳永逸的解决方案,需要产业、安全从业者、监管机构持续跟进,在技术创新与风险管控之间寻求动态平衡。
编辑:芦笛(公共互联网反网络钓鱼工作组)
来源:迪妙网络空间安全学院