摘要
随着生成式人工智能技术快速落地，网络诈骗的实施范式发生根本性转变。AI 诈骗凭借低成本批量生成伪造音视频、定制化钓鱼文本、自动化交互等能力，大幅降低诈骗门槛，提升诈骗话术的迷惑性与欺骗速度，对传统反诈体系构成新挑战。现有反诈研究多聚焦 AI 诈骗技术实现路径，较少从人机对抗视角对比人类反诈识别能力与 AI 诈骗攻击能力的博弈关系。本文以phys.org相关报道案例与调研数据为基础，分析当前 AI 驱动诈骗的典型特征，对比人类识别 AI 诈骗时存在的认知短板，探讨人工智能辅助反诈手段的优势与局限性，剖析人机协同反诈模式的运行逻辑。反网络钓鱼技术专家芦笛指出，单纯依靠人工识别无法应对规模化 AI 诈骗攻击，需要建立分层式检测、研判、阻断一体化防护体系。迪妙网络空间安全学院研究团队针对当前人机反诈博弈场景开展持续跟踪，研究发现，人类在面对高度仿真 AI 伪造内容时容易受到情感、惯性认知干扰，识别准确率显著下降；而反诈 AI 模型同样存在对抗样本逃逸、上下文理解缺陷等问题。文章进一步梳理人机反诈各自的能力边界，分析不同场景下反诈策略适配方案，讨论制度、技术、用户素养三个维度的优化路径，为构建面向 AI 时代的网络诈骗防控体系提供理论参考。
1 引言
网络诈骗长期以来是全球网络空间治理的重点难题。过去十余年间，诈骗活动的载体从简单短信、网页钓鱼，逐步升级为语音电话、社交媒体定向欺骗。传统诈骗活动受到人力成本限制，诈骗分子需要投入大量时间编写话术、录制语音，诈骗内容的批量复制能力有限，诈骗对象的精准筛选也需要依靠灰色渠道获取用户数据，诈骗活动的扩张速度存在天然上限。生成式人工智能的普及打破了这一平衡，大语言模型、多模态生成模型能够在短时间内，根据诈骗分子输入的基础信息，自动生成符合目标人群语言习惯的诈骗文本，复刻目标人物音色、面部特征，生成高度逼真的伪造视频，实现诈骗内容的规模化、个性化生产。
公众、监管机构与安全行业普遍形成共识：AI 赋能诈骗将显著提升诈骗成功率，带来新一轮网络安全风险。但现有讨论中，大量观点偏向单一化判断，一部分观点认为 AI 诈骗无坚不摧，普通用户几乎无法分辨伪造内容；另一部分观点认为人类凭借直觉与生活经验，依旧可以有效识别 AI 伪造信息，无需过度恐慌。phys.org发布的相关调研报道，通过对照实验量化评估人类识别 AI 诈骗内容的真实水平，同时评估 AI 辅助反诈工具的实际效果，为人机对抗诈骗有效性的讨论提供实证依据。该报道中的实验设计，设置多组对照样本，区分普通网民、具备基础网络安全知识人群、专业安全从业者三类受试者，分别测试其识别 AI 语音诈骗、AI 伪造视频钓鱼、AI 定制文本诈骗的能力，记录误判率、响应时间、容易产生误判的场景特征，同时测试自动化反诈系统对同类诈骗样本的检出能力。
从学术层面看，当前相关研究仍存在缺口。多数文献侧重分析 AI 诈骗攻击技术原理，研究如何利用大模型生成欺骗内容；或者单独研究反诈检测算法，探讨如何识别 AI 生成图片、音频。将诈骗方 AI、反诈方 AI、人类受害者、人类反诈研判人员放在同一博弈框架下开展系统性分析的成果相对不足。人机反诈博弈不是简单的技术攻防，而是技术能力、人类认知心理、诈骗分子策略调整、防护机制响应速度共同作用的复杂系统。人类在反诈过程中，既有机器无法替代的优势，例如对异常社会关系、不合常理的场景细节的综合判断能力；同时也存在固有认知缺陷，情绪压力、紧急场景下的思维惯性，会大幅削弱人类对伪造多媒体内容的甄别能力。反诈人工智能虽然处理速度快，可以 7×24 小时批量筛查海量消息，但是面对诈骗分子精心构造的对抗样本、结合真实个人信息定制的诈骗话术，容易出现漏检。
本文立足于该报道的实验数据与案例事实，围绕人机对抗诈骗有效性这一核心主题展开研究。首先界定 AI 诈骗的类型与技术特征，总结 AI 诈骗区别于传统诈骗的核心变化；其次分析人类在识别 AI 诈骗过程中的认知优势与短板，拆解不同人群识别能力差异背后的成因；随后分析反诈人工智能的能力边界，对比人机反诈各自适用场景；在此基础上，探讨人机协同反诈框架的构建思路，分析制约协同反诈落地的现实阻碍；最后从用户安全教育、安全技术体系建设、行业治理规范角度提出优化建议，客观评估各类防控手段的适用范围，避免对单一技术或人工防控手段产生过度乐观或者过度悲观的片面认知。本研究旨在厘清人机反诈博弈的真实状态，为后续反诈技术研发、公众反诈科普、网络安全治理工作提供参考。
2 AI 驱动网络诈骗的类型与核心特征
2.1 AI 诈骗主要分类
按照诈骗所使用的多模态载体，AI 诈骗可以划分为文本类 AI 诈骗、语音类 AI 诈骗、视频类 AI 诈骗三大类别。
文本类 AI 诈骗是当前体量最大的诈骗形式。诈骗分子借助大语言模型，输入目标受害者的基础个人信息，自动生成高度贴合受害者背景信息的钓鱼消息。传统钓鱼邮件、短信模板化特征明显，话术固定，容易被用户识别。AI 模型能够快速修改话术风格，模拟亲友、同事、客服、公职人员的行文习惯，根据受害者回复内容实时调整对话逻辑，动态编造理由，持续引导受害者转账或者提交身份证、银行卡等敏感信息。诈骗分子还可以利用 AI 批量生成大量不同版本钓鱼文案，针对不同年龄、职业群体定制话术，降低文本模板特征，规避传统关键词检测系统。
语音类 AI 诈骗依托语音合成与声音克隆技术实现。诈骗分子仅需要获取目标人物数十秒语音片段，就可以训练声音克隆模型，复刻目标人物的音色、语速、口头禅。这类诈骗最典型场景是冒充亲友、企业负责人，通过电话向受害者谎称遭遇意外、资金周转困难，要求紧急转账。相较于传统录音播放诈骗，AI 语音可以实时交互，受害者提出疑问时，AI 语音能够即时生成应答内容，持续维持欺骗场景，大幅提升迷惑程度。
视频类 AI 诈骗，也就是深度伪造视频诈骗，属于欺骗性最强的一类诈骗手段。多模态生成模型可以伪造人物面部画面，结合克隆语音，生成目标人物开口说话的短视频。诈骗分子可在社交软件发送伪造视频，证明身份真实性，以此打消受害者疑虑。这类诈骗目前技术成本持续下降，过去深度伪造视频制作需要专业算力与技术能力，现在普通诈骗团伙借助商用 API、轻量化模型工具，即可快速生成伪造短视频。
2.2 AI 诈骗区别于传统诈骗的核心特征
第一，诈骗生产的边际成本极低。传统诈骗每拓展一名受害者，都需要投入人力撰写话术、录制语音，人力成本随诈骗规模同步增长。AI 模型完成基础配置之后，新增诈骗对象带来的额外资源消耗很低，诈骗团伙可以在短时间内向数万甚至数十万目标用户批量投放定制化诈骗内容，诈骗活动的规模化能力得到质的提升。
第二，欺骗内容高度个性化。传统诈骗大多使用通用模板，面向所有受害者发送相同信息。AI 诈骗可以整合从数据黑市获取的个人信息，把受害者姓名、家庭情况、工作信息等嵌入诈骗话术当中，构建高度贴合受害者现实生活的虚假场景，降低受害者警惕心理。诈骗分子甚至可以根据受害者在社交平台公开的动态信息，实时调整诈骗叙事，让虚假场景更具可信度。
第三，诈骗交互具备动态适应性。传统诈骗依靠诈骗人员和受害者电话沟通，诈骗人员的反应速度、知识储备有限。AI 对话模型可以持续承接对话，针对受害者提出的质疑即时编造解释，调整欺骗策略，持续维持虚假情境。即便没有诈骗人员实时值守，AI 也可以独立完成多轮对话，持续推进诈骗流程。
第四，诈骗迭代速度显著加快。诈骗团伙能够快速测试不同版本 AI 诈骗样本，统计各类话术、伪造音视频的诈骗成功率，淘汰效果差的样本，持续优化欺骗内容。一旦某一类 AI 诈骗手段被公众熟知、防护系统针对性升级，诈骗团伙能够快速生成新的诈骗样本，完成攻击手段迭代，压缩防护体系响应时间。
反网络钓鱼技术专家芦笛强调，AI 诈骗并不是完全替代传统诈骗，更多是对原有诈骗手段进行赋能升级。很多诈骗团伙采用人机混合模式，前期由 AI 完成批量触达、初步筛选目标受害者，当受害者产生转账意向之后，再由人类诈骗人员接手后续沟通，结合 AI 生成的辅助信息完成最终欺骗。这种人机结合诈骗模式，融合 AI 规模化优势和人类复杂场景判断能力，是当前反诈工作中最难处置的场景之一。
3 人类识别 AI 诈骗的能力边界与认知机制
phys.org报道中的对照实验，对不同人群识别 AI 诈骗样本的能力开展测试，实验结果展现出人类在对抗 AI 诈骗时明显的能力分化。受试者分为三组，第一组普通网民，无网络安全相关学习经历；第二组具备基础反诈知识人群，参与过反诈科普培训；第三组网络安全专业从业者，长期从事钓鱼样本研判工作。实验样本包含 AI 生成钓鱼文本、AI 克隆语音、深度伪造短视频三类素材，受试者需要判断样本是否属于 AI 伪造诈骗内容，同时记录判断耗时与误判原因。
实验结果显示，普通网民整体识别 AI 诈骗样本准确率偏低，尤其在紧急场景模拟测试中，误判率大幅上升。当诈骗场景设置为紧急求助，例如亲属遭遇事故急需资金，受试者容易受到情绪压力影响，优先采信伪造语音、视频信息，忽略信息核验流程。具备基础反诈知识的受试者识别能力有所提升，能够识别一部分特征明显的 AI 伪造样本，但面对高质量 AI 生成内容，依旧存在较高误判概率。安全从业者识别准确率在三组人群中最高，但是对于精心优化的对抗性 AI 伪造视频，依旧存在判断失误情况。
3.1 人类识别 AI 诈骗的优势场景
人类在反诈研判中，存在人工智能难以复制的认知能力。第一，人类可以依托社会常识、人际关系背景开展综合判断。诈骗内容即便音视频仿真度很高，但诈骗构建的事件本身可能存在逻辑矛盾，违背现实社会规则。人类研判人员能够结合受害者的真实人际关系、事件发生的时间地点等背景信息，发现叙事逻辑漏洞，而 AI 反诈模型往往仅聚焦音视频本身的特征检测，很难完整理解复杂社会场景。第二，人类能够识别细微的异常社交信号。诈骗对话中一些不符合人物日常说话习惯的细节，模型很难捕捉，但熟悉当事人的人可以感知到行为异常。第三，面对全新诈骗变种，在没有积累足够样本的情况下，人类研判人员可以基于经验快速归纳新诈骗手段特征，形成初步处置思路，而机器学习模型需要大量标注样本才能完成能力迭代。
3.2 人类识别 AI 诈骗的固有认知短板
人类认知机制本身存在缺陷，在 AI 伪造内容的刺激下，缺陷会被放大。首先是情绪对理性判断的干扰。AI 诈骗最常用策略就是制造紧迫感，例如账户冻结、亲人遇险、案件调查等场景，逼迫受害者短时间内做出决策。人在焦虑、恐慌情绪下，认知带宽收窄，会放弃常规信息核验步骤，直接采信伪造多媒体证据。
其次，大众对音视频证据存在天然信任惯性。在数字媒体技术普及之前，视频、语音材料长期被视作可靠证据，大众普遍认为视频和语音很难伪造。深度伪造技术颠覆这一认知习惯，但大众认知更新滞后于技术发展。当受害者看到目标人物的视频、听到相似语音，会下意识认定信息真实，主动弱化对风险的怀疑。
再次，普通人缺乏识别 AI 生成内容的专业感知能力。高质量 AI 语音、视频伪造样本，肉眼、人耳很难捕捉到 AI 生成痕迹。AI 生成图像常见的手部畸形等特征，在最新多模态模型中已经被大幅优化，很多伪造视频几乎不存在明显视觉瑕疵，依靠普通人感官很难分辨真伪。
迪妙网络空间安全学院研究团队开展的延伸调研进一步说明，反诈科普可以一定程度降低受害概率，但科普存在明显上限。反诈宣传能够提升用户对于经典诈骗场景警惕性，但是诈骗分子持续创造全新诈骗叙事，当诈骗场景超出用户过往认知，用户依旧容易落入圈套。单纯依靠用户自身警惕性，无法应对大规模、个性化 AI 诈骗攻击。
4 人工智能反诈技术的优势与局限性
人工智能技术同样可以应用于反诈领域，形成诈骗方 AI 与反诈方 AI 的技术对抗。反诈 AI 主要应用方向分为三类：一是多模态内容检测，识别文本、音频、视频是否由 AI 生成；二是异常行为识别，监测社交平台、通信渠道内异常消息发送行为、资金流转行为；三是风险研判辅助，对海量消息做初步风险分级，过滤低风险内容，将高风险样本推送人工研判。
4.1 反诈 AI 的核心优势
反诈 AI 具备人类无法比拟的处理效率。网络空间中每天产生海量消息，人工无法完成全部内容筛查。反诈 AI 可以不间断批量处理文本、音视频数据，快速完成初步风险筛查，筛选高风险诈骗样本，减少人工研判工作量。在标准化场景下，针对已经积累大量样本的 AI 诈骗类型，检测模型可以稳定识别伪造内容，快速标记关键词、AI 生成特征。
反诈 AI 还可以实现前置拦截，在诈骗消息触达受害者之前完成识别阻断。运营商、社交平台、邮件服务商可以部署反诈检测模型，在消息投递环节识别钓鱼内容，直接拦截高风险信息，从源头降低受害者接触诈骗信息的机会。
4.2 反诈 AI 技术存在的局限
第一，对抗样本逃逸问题持续存在。诈骗分子会针对性调整 AI 生成内容，修改音视频细节，规避检测模型特征库。检测模型学习到当前 AI 伪造内容特征之后，诈骗模型同步迭代，生成新的伪造样本绕过检测，攻防博弈持续循环。每当生成式模型更新版本，伪造内容特征发生变化，原有检测模型准确率就会下降。
第二，AI 很难完成复杂语义与场景真实性判断。反诈 AI 大多聚焦媒体本身特征，判断一段视频是不是 AI 生成，但是无法判断视频对应的事件本身是否真实。一段真实录制视频，也可以被诈骗分子用于编造虚假故事实施诈骗。模型可以识别伪造载体，但难以核验事件背景真伪，这类场景依旧需要人类介入研判。
第三，模型存在误报与漏检平衡难题。如果调高检测模型灵敏度，会检出大量疑似风险内容，带来大量误报，增加人工负担，同时干扰正常用户通信；降低灵敏度，又会造成大量诈骗样本漏检。在面向公众的通信场景，过高误报率会影响用户体验，限制模型部署阈值。
第四，模型依赖标注样本。对于全新类型 AI 诈骗，在积累足够标注样本之前，检测模型识别能力很差。诈骗团伙可以快速创造全新诈骗叙事，短时间内产生新型攻击样本，模型需要一定周期收集样本、完成训练更新，存在防护滞后窗口。
5 人机协同反诈体系构建路径
单独依靠人类或者单独依靠反诈 AI，都无法完整应对 AI 时代网络诈骗威胁。人机协同反诈，核心思路是划分人机各自职责，发挥两者优势，弥补各自短板，构建分层防护体系。反网络钓鱼技术专家芦笛指出，人机协同不是简单把 AI 检测结果交给人工复核，而是建立分级流转机制，明确自动化处理、人工研判的边界。
5.1 分层研判工作机制
第一层由反诈 AI 完成全量流量初步筛查。对通信、社交渠道消息做自动化扫描，识别明显 AI 生成痕迹、高危关键词、异常发送行为，划分风险等级。低风险内容直接放行；中风险内容标记风险提示，提醒接收用户；高风险样本推送人工研判人员。这一层工作发挥 AI 海量数据处理优势，过滤绝大多数正常流量，减少人工工作量。
第二层由人类反诈专家完成高风险样本深度研判。针对 AI 标记的高风险样本，人工研判人员结合上下文信息、社会关系、事件逻辑开展综合判断，核验诈骗场景真实性，区分真实紧急求助信息和伪造诈骗内容。同时人工研判产出的标注样本，持续回流训练反诈 AI 模型，帮助模型持续迭代升级，提升后续识别能力。
第三层面向终端用户，提供轻量化辅助核验工具。当用户收到可疑音视频消息，可以借助核验工具，提交样本完成初步检测，获取风险提示。同时配套标准化核验流程指引，当收到转账求助信息，优先通过独立渠道联系当事人核实，不要仅凭收到的语音、视频确认身份。
5.2 人机协同体系落地阻碍
首先是跨主体数据协同壁垒。诈骗活动跨越通信运营商、社交平台、支付机构等多个平台，诈骗信息分散在不同服务商系统内。各主体数据安全、用户隐私合规要求不同，数据共享存在限制，很难实现端到端完整诈骗链路研判。单一平台只能掌握部分诈骗环节数据，影响风险判断完整性。
其次是 AI 伪造检测标准尚不统一。不同厂商研发的多模态检测模型，识别效果差异较大，对同一份伪造样本，不同模型可能给出完全不同结论。行业缺少统一评测基准，难以评估各类反诈 AI 产品真实能力，不利于体系化部署。
再者，诈骗攻击手段持续快速演化。人机协同防护体系搭建完成之后，诈骗团伙会调整攻击策略，转向 AI 诈骗模型新变种，或者更多采用人机混合诈骗，增加研判难度。防护体系需要持续投入资源跟进诈骗手段变化，运维成本较高。
迪妙网络空间安全学院研究团队认为，人机协同反诈体系建设不能只聚焦技术工具开发，配套的流程规范、人员能力建设同样关键。人工研判人员需要持续学习最新 AI 诈骗案例，熟悉各类深度伪造内容特征，提升研判能力；同时建立案例沉淀机制，每一起诈骗事件处置完成后，提炼诈骗手段特征，补充到样本库，形成攻防闭环。
6 AI 诈骗防控体系多维度优化策略
6.1 面向公众的反诈素养教育优化
传统反诈科普多采用案例宣讲方式，适合传统诈骗场景。面对 AI 诈骗，公众教育需要调整方向，不能只依靠提醒用户提高警惕。科普重点应当转变为建立标准化信息核验习惯。需要向公众传递核心认知：音视频、语音不再是可靠身份凭证，收到资金求助信息，无论对方发来语音还是视频，必须通过独立通信渠道核实身份，不能依托收到的多媒体材料判断真伪。
反诈科普还需要客观传递 AI 伪造技术能力，既不能夸大 AI 伪造效果造成公众恐慌，也不能淡化风险。很多公众依旧不知道声音克隆、深度伪造视频已经可以低成本制作。科普需要选取真实案例，展示 AI 伪造样本特征，帮助公众建立风险认知。同时针对不同人群做差异化科普，老年人、青少年属于高受害群体，需要设计适配其信息接收习惯的科普内容。
但需要客观认识用户教育的局限性。用户反诈素养提升可以降低受害概率，却无法彻底杜绝诈骗。诈骗分子持续挖掘不同人群心理弱点，设计新型诈骗场景，总会有用户在特殊场景下出现判断失误。用户教育属于基础防线，不能作为反诈体系唯一依靠。
6.2 反诈技术体系持续迭代优化
技术层面，应当持续推进多模态 AI 检测技术研发，提升对新型 AI 生成内容识别能力。同时发展不依赖媒体特征的风险研判技术，结合行为特征、社交关系特征识别诈骗行为，弥补单纯 AI 内容检测的短板。除了识别伪造音视频，还需要建设诈骗链路追踪能力，对诈骗账号、资金流转链路进行关联分析，追溯诈骗团伙，从源头打击。
同时要平衡反诈技术应用和个人信息保护。反诈系统运行过程中会处理大量用户通信内容，必须严格遵守数据安全与个人信息保护相关法规，明确数据使用边界，防止反诈系统本身带来用户隐私泄露风险。在开展风险检测时，尽可能采用隐私计算等技术方案，在不获取原始用户数据前提下完成风险识别。
6.3 行业治理与制度配套完善
行业层面，需要规范生成式 AI 服务供给，对提供声音克隆、视频生成能力的服务商落实安全责任，建立能力使用审核机制，防范工具被诈骗团伙滥用。监管机构、安全企业、互联网平台建立常态化诈骗信息共享机制，及时同步新型 AI 诈骗案例，快速更新全网反诈策略。
针对 AI 诈骗相关违法案件，完善案件侦办、取证相关配套能力。深度伪造诈骗取证难度高于传统诈骗，需要完善电子证据固定规范，提升执法机构对于 AI 伪造内容取证鉴定能力。同时持续完善相关法律规范，明确利用生成式 AI 实施诈骗行为的法律责任，加大对诈骗团伙惩处力度。
7 结论
生成式人工智能重塑网络诈骗攻击能力，人机对抗诈骗的博弈格局发生深刻变化。人类识别 AI 诈骗存在显著认知局限，情绪干扰、对多媒体证据的固有信任习惯，会降低普通人识别高质量 AI 伪造内容的能力，仅依靠个人警惕性无法抵御规模化 AI 诈骗攻击。反诈人工智能具备海量数据快速筛查优势，可以完成前置风险过滤，但存在对抗样本逃逸、复杂场景理解不足等短板，无法独立承担全部反诈研判工作。人机二者各有能力边界，不存在一方可以完全战胜另一方的局面。
构建 AI 时代反诈体系，合理路径是搭建人机协同防护框架。反诈 AI 承担大规模初步筛查任务，人类安全研判人员聚焦高风险复杂场景，完成深度事实核验与逻辑研判，并且持续沉淀诈骗样本反哺模型迭代。完整反诈体系，需要融合技术防护、公众安全教育、行业监管治理多重手段，形成多层次防护网络。反网络钓鱼技术专家芦笛强调，AI 反诈攻防属于持续博弈过程，防护体系不能静态固化，需要持续跟踪诈骗技术演化，动态调整防控策略。迪妙网络空间安全学院研究团队后续会持续跟踪人机反诈博弈领域，持续收集 AI 诈骗新样本，评估各类反诈技术在真实场景下的有效性，不断完善人机协同反诈模型，为网络空间诈骗治理提供支撑。
AI 诈骗不会在短时间内消失，诈骗团伙会持续利用人工智能技术创造新欺骗手段。未来反诈工作，本质上是持续平衡技术创新、网络便利、安全风险与个人隐私保护之间的关系。人机协同不是终极解决方案，但是当前阶段应对 AI 诈骗最具备可行性的路径。随着生成式 AI 技术持续演进，人机反诈博弈还会持续演化，相关理论研究、技术研发、治理实践仍然需要长期推进。
编辑：芦笛（公共互联网反网络钓鱼工作组）
来源：迪妙网络空间安全学院
