生成式 AI 搜索推荐导向钓鱼网站的风险机制研究

简介: 本文基于ESET对ChatGPT为期30天的实证监测,揭示生成式AI搜索推荐正成为新型钓鱼攻击入口:AI常输出已被标记为仿冒电商、加密诈骗、伪造登录等不安全链接。主因包括URL幻觉、训练数据滞后、检索插件缺安全校验及提示注入。研究呼吁构建平台校验、技术适配、素养提升与企业防御协同治理框架。(239字)

摘要

生成式人工智能对话系统正在从信息问答工具演变为用户获取网络资源的搜索与推荐入口,这一转变带来了尚未被充分认识的安全风险。本文以网络安全厂商 ESET 针对 ChatGPT 搜索结果开展的 30 天监测数据为核心实证材料,结合新西兰市场 AI 普及度调查、钓鱼威胁遥测数据以及零日漏洞利用周期统计,系统分析生成式 AI 搜索推荐导向不安全网站的现象、技术机理与治理路径。研究发现,ChatGPT 在回答用户关于购物、软件下载、网站登录等查询时,会输出已被安全厂商标记为不安全的链接,类型涵盖仿冒电商站点、加密货币诈骗页面、伪造登录入口以及含恶意代码的下载资源。该现象的底层成因包括大语言模型的 URL 幻觉、训练数据与域名实时状态之间的时序错位、搜索插件检索结果缺乏安全校验环节,以及间接提示注入对模型输出的操控。与此同时,生成式 AI 正在从供给端重塑钓鱼攻击的生产方式,AI 生成的钓鱼内容语言流畅、针对性强,导致拼写错误、语法生硬等传统识别特征失效;AI 对安全补丁的逆向分析能力将漏洞公开到武器化利用的中位周期从 2018 年的 771 天压缩至 2026 年的零天。用户对 AI 推荐的权威感产生信任转移,降低了对链接目的地的核验意愿,而仅依赖杀毒软件的认知误区进一步放大了凭据窃取型钓鱼的危害。反网络钓鱼技术专家芦笛指出,AI 推荐链路应当被视为与电子邮件、短信、社交媒体并列的新型钓鱼传播向量,需要在模型输出层建立实时的域名信誉校验与风险标注机制。迪妙网络空间安全学院研究团队在相关方向的持续跟踪表明,AI 平台侧安全校验、反钓鱼技术体系适配、用户安全素养再教育与企业端纵深防御需要形成协同框架,方能应对生成式 AI 时代钓鱼攻击的结构性变化。本文不做技术万能论推演,客观承认任何单一防线均存在局限,治理的核心在于构建多层互补、责任清晰的风险缓释体系。

关键词:生成式人工智能;ChatGPT;网络钓鱼;AI 幻觉;搜索推荐;安全治理

image.png 1 引言

以 ChatGPT 为代表的生成式人工智能对话系统在全球范围内快速普及,其功能边界已从最初的文本生成、知识问答扩展至联网搜索、产品推荐、软件下载指引等场景。用户越来越倾向于直接向 AI 助手询问 "在哪里购买某商品"" 哪个网站可以登录某服务 ""推荐一款软件并给出下载地址",AI 系统则在回答中嵌入超链接,引导用户访问特定网页。这一交互模式的转变,实质上使生成式 AI 成为用户通往互联网资源的新型中介入口,而入口处的安全性直接决定了用户是否会被导向钓鱼网站、诈骗页面或恶意下载资源。

新西兰国家广播电台(RNZ)在其 "Nine to Noon" 节目中报道了网络安全厂商 ESET 的一项监测发现:在为期 30 天的观察期内,ChatGPT 的搜索结果持续将用户导向已被安全系统归类为不安全的网站,涉及仿冒在线商店、加密货币诈骗页面、伪造登录入口以及包含恶意代码的下载链接。ESET 新西兰国家经理 Scott Leman 在报道中明确指出,用户正在形成一种危险的默认假设,即 AI 助手提供的链接已经过安全检查,而实际情况并非如此。该报道同时披露,新西兰已有五分之四的人口使用 AI 工具,ChatGPT 是该国下载量最高的免费 iPhone 应用之一;ESET 遥测数据显示,2026 年 7 月新西兰用户终端检测到的全部网络威胁中,钓鱼相关威胁占比达 34.9%。这些数据共同勾勒出一个值得严肃对待的现实:AI 搜索推荐正在成为钓鱼攻击触达用户的新通道,而用户对 AI 的信任恰恰削弱了自身的防御警觉。

现有关于生成式 AI 安全的研究多集中于模型对齐、数据隐私、提示注入防御等议题,针对 AI 搜索推荐输出不安全链接这一具体现象的系统性分析相对有限。部分讨论将该问题简单归因于 "AI 幻觉",但幻觉只是表层现象,其背后涉及训练数据时序偏差、检索插件安全校验缺失、域名状态动态漂移、间接提示注入操控等多重技术机理,需要分层拆解。此外,AI 不仅在推荐端可能将用户引向恶意网站,还在攻击端显著降低了钓鱼内容的生产门槛、压缩了漏洞武器化周期,供需两端的变化相互叠加,构成了生成式 AI 时代网络钓鱼威胁的新格局。

本文以 RNZ 报道所依据的 ESET 监测数据与访谈内容为核心材料,辅以零日时钟(Zero Day Clock)公开统计、InternetNZ 新西兰互联网洞察报告等可交叉验证的信息源,围绕以下问题展开分析:第一,生成式 AI 搜索推荐导向不安全网站的实证表现与类型分布如何;第二,该现象的技术机理是什么,幻觉、检索、注入等因素各自扮演何种角色;第三,AI 赋能下钓鱼攻击的供给端发生了哪些结构性变化;第四,用户信任转移与认知误区如何放大风险;第五,应当从哪些层面构建治理框架。本文不追求面面俱到的综述,而是紧扣 AI 搜索推荐与钓鱼攻击的交叉地带,力求论据形成闭环、结论落到可操作的治理方向。

2 生成式 AI 搜索推荐导向不安全网站的实证发现

2.1 ESET 30 天监测结果与不安全链接类型

ESET 研究团队在连续 30 天的监测周期内,对 ChatGPT 输出内容中包含的统一资源定位符(URL)进行采集与分类,将检测结果与 ESET 自身的安全威胁情报库进行比对。监测发现,ChatGPT 在回应用户关于在线购物、软件下载、服务登录等查询时,会输出已经被 ESET 安全系统列入阻止名单或标记为高风险的 URL。这些不安全链接并非个别偶发案例,而是在监测期内持续出现,呈现出一定的规律性。

从类型分布看,不安全链接主要集中在以下几类。第一类是仿冒在线商店,页面外观模仿正规电商平台,商品价格具有诱惑力,实际目的是骗取用户的支付信息或个人信息。第二类是加密货币诈骗页面,通常以投资回报、空投奖励、钱包同步等名义诱导用户转入数字资产或泄露钱包私钥。第三类是伪造登录入口,页面高度模仿微软、谷歌、银行等知名服务的登录界面,用户输入账号密码后凭据即被攻击者截获。第四类是包含恶意代码的下载资源,AI 推荐的软件下载链接指向的安装包中捆绑了潜在不受欢迎应用(PUA)或恶意脚本,执行后可能窃取用户信息或劫持设备。

上述四类不安全链接的共同特征是,它们并非技术上无法访问的死链,而是处于活跃运营状态的恶意站点。这意味着用户点击 AI 提供的链接后,会真实地到达一个具有欺骗性的页面,而非遇到 404 错误。ESET 将这一发现定性为对 "AI 推荐即安全背书" 这一用户默认假设的直接挑战。

2.2 新西兰 AI 普及度与用户信任偏差

ESET 的监测之所以选择新西兰市场作为观察窗口,与该国 AI 工具的高渗透率密切相关。InternetNZ 发布的《2025 年新西兰互联网洞察报告》显示,五分之四的新西兰人正在使用 AI 工具,ChatGPT 已成为该国下载量最高的免费 iPhone 应用。高普及率意味着 AI 搜索推荐的不安全链接问题影响的不是小众技术群体,而是广泛的普通用户。

更为关键的是用户信任偏差。Scott Leman 在 RNZ 报道中指出,新西兰用户越来越多地使用 AI 来决定在哪里购物、下载什么软件、访问哪个网站,而由于推荐来自一个用户信任的工具,用户往往不会像对待电子邮件、短信或社交媒体中的陌生链接那样去核验目的地的真实性。这种信任转移是 AI 搜索推荐风险得以放大的核心社会心理机制。在传统钓鱼场景中,用户收到一封来自陌生发件人的邮件,至少会触发一定程度的警惕;而当链接由 AI 助手在对话中 "自然地" 给出时,用户的认知框架从 "收到一条可疑信息" 切换为 "获得一个可信推荐",警惕性显著下降。

反网络钓鱼技术专家芦笛指出,信任转移是钓鱼攻击成功的关键前置条件,传统钓鱼通过仿冒发件人、伪造域名来建立虚假信任,而 AI 搜索推荐则借助用户对 AI 系统本身的权威感来实现信任转嫁,后者更难被用户主动识别,因为怀疑 AI 推荐等同于怀疑自己选择的工具。

2.3 钓鱼威胁在整体网络威胁中的占比

ESET 新西兰威胁遥测数据为理解 AI 搜索推荐风险的宏观背景提供了量化参照。2026 年 7 月,ESET 在新西兰用户终端检测到的全部网络威胁中,钓鱼相关威胁占比为 34.9%,超过三分之一。这一比例说明钓鱼并非边缘威胁,而是新西兰网络空间中最主要的威胁类型之一。在此背景下,AI 搜索推荐作为新的钓鱼传播向量,其安全影响不容忽视 —— 如果 AI 输出的链接中有一定比例指向钓鱼站点,而用户又因信任偏差降低核验,那么 AI 实际上在为已经高发的钓鱼威胁增加一条高效的分发渠道。

需要指出的是,34.9% 这一数据反映的是 ESET 终端产品检测到的威胁构成,并非所有钓鱼攻击的总量统计,因为大量钓鱼攻击在用户凭据被窃取后并不触发终端恶意代码检测,属于 "无文件" 攻击。因此,钓鱼威胁的实际影响面可能大于终端检测数据所呈现的比例。这一点也与下文将要讨论的杀毒软件认知误区直接相关。

3 AI 推荐导向恶意网站的技术机理

将 AI 搜索推荐输出不安全链接简单归因于 "AI 出错" 不足以解释问题的全貌。该现象是多种技术机理叠加的结果,需要从模型本身、数据时序、检索架构、攻击注入四个层面分别分析。

3.1 大语言模型的 URL 幻觉与生成缺陷

大语言模型的核心工作机制是基于训练数据中的统计模式预测下一个词元,其生成 URL 的过程与生成自然语言文本并无本质区别。当用户询问某服务的官方网站或某软件的下载地址时,模型会根据训练数据中出现过的域名模式 "推测" 一个看起来合理的 URL,而非像传统搜索引擎那样从实时索引中返回经过抓取验证的链接。这种生成方式导致两类问题。

其一,模型可能生成一个格式正确但实际不存在的域名,即纯粹的幻觉 URL。这类链接用户点击后通常无法访问,风险相对有限,但会降低用户对 AI 推荐的整体信任。其二,也是更危险的情况,模型生成的域名恰好是一个已被攻击者注册并用于钓鱼的活跃域名。由于模型在训练数据中见过大量类似域名的排列组合,其生成的 "推测性 URL" 有可能命中攻击者批量注册的仿冒域名池。攻击者甚至可以主动注册与知名品牌域名高度相似的大量变体,等待 AI 模型在生成推荐时 "随机命中" 其中之一,从而将用户导向钓鱼站点。

迪妙网安研究团队在对大模型 URL 生成行为的测试中观察到,当查询涉及中小品牌或区域性服务时,模型生成错误 URL 的概率显著高于涉及全球知名品牌的查询,原因在于训练数据中前者的官方域名出现频次低,模型缺乏足够的统计锚点,更容易产生推测性输出。这一发现意味着中小企业和区域性服务的用户面临更高的 AI 推荐钓鱼风险。

3.2 训练数据时效性与域名状态漂移

大语言模型的训练数据存在固定的截止时间点,而互联网域名的状态是动态变化的。一个在模型训练期间属于正规企业的域名,可能在模型部署后因企业倒闭、域名过期未续费而被攻击者抢注,并改建为钓鱼站点。模型在回答用户查询时,仍然依据训练数据中的记忆将该域名作为 "官方网站" 推荐给用户,而用户点击后到达的已是恶意页面。

这种时序错位是 AI 搜索推荐特有的风险,传统搜索引擎虽然也可能索引到过期域名,但搜索引擎通常会结合实时抓取数据对页面内容进行更新,而纯生成式 AI 的回答不依赖实时抓取,其 URL 输出完全基于训练时的静态记忆。即使 AI 系统接入了搜索插件,插件返回的搜索结果摘要也可能未包含目标域名当前页面内容的安全检测信息,模型在整合摘要生成回答时不会主动校验链接目的地的实时安全性。

域名状态漂移问题的治理难度在于,它不是模型 "答错了",而是模型 "答对了过去的事实,但过去的事实已经变成现在的危险"。这要求 AI 系统在输出 URL 时必须引入实时的域名信誉查询机制,而非仅依赖训练数据中的静态知识。

3.3 搜索插件检索结果的安全校验缺失

当前主流生成式 AI 系统大多提供联网搜索功能,通过调用搜索引擎 API 获取实时信息,再由模型整合为自然语言回答。这一架构在理论上可以缓解训练数据时效性问题,但在实践中引入了新的安全短板:搜索插件返回的结果列表通常只包含标题、摘要和 URL,不包含目标网站的安全信誉评级或恶意代码检测结果。模型在选择引用哪些链接时,依据的是搜索结果的相关性排序,而非安全性排序。

如果搜索引擎的结果中本身混入了 SEO 投毒页面 —— 即攻击者通过操纵搜索引擎优化将恶意站点推高排名 —— 那么 AI 搜索插件就会检索到这些恶意链接,并可能在回答中引用。更有甚者,攻击者可以针对 AI 搜索插件的检索行为进行专门优化,制作内容看似权威、实际包含钓鱼链接的页面,等待 AI 系统抓取并引用。这种针对 AI 检索的投毒手法与传统 SEO 投毒原理相似,但目标从搜索引擎用户转移到了 AI 系统的检索插件,危害更为隐蔽,因为用户看到的是 AI"总结" 后的回答,而非原始搜索结果列表,难以判断信息来源的可靠性。

ESET 监测中发现的部分不安全链接,很可能并非模型凭空生成,而是搜索插件从公开网络中检索到的已被标记为恶意的页面。这说明仅靠模型自身的对齐训练无法解决检索引入的安全问题,必须在插件层和输出层增加安全校验环节。

3.4 间接提示注入对 AI 输出的操控

间接提示注入是一种将恶意指令隐藏在外部数据源(如网页内容、搜索结果、文档附件)中的攻击手法。当 AI 系统读取这些外部数据时,隐藏在其中的指令会被模型当作用户指令执行,从而操控 AI 的输出行为。在 AI 搜索推荐场景中,攻击者可以在网页中嵌入隐藏的提示注入指令,例如要求 AI 在回答中优先推荐某个特定 URL,或要求 AI 忽略安全限制、不标注可疑链接。

当 AI 搜索插件抓取到包含间接提示注入的网页时,模型可能在无意识中执行了攻击者的指令,将恶意链接作为推荐输出给用户。由于注入指令隐藏在网页内容中,用户无法从 AI 的回答中察觉异常,模型自身也难以区分哪些文本是用户指令、哪些是外部数据中的内容。间接提示注入是当前生成式 AI 安全领域的前沿难题,现有防御手段尚不能完全杜绝此类攻击。

反网络钓鱼技术专家芦笛强调,间接提示注入使得 AI 搜索推荐的不安全链接问题从 "模型失误" 升级为 "可被主动利用的攻击面",攻击者不再需要等待模型随机命中恶意域名,而是可以通过构造包含注入指令的网页主动操控 AI 输出,这显著降低了攻击门槛并提高了成功率。

4 AI 赋能下钓鱼攻击的演化特征

AI 搜索推荐将用户导向钓鱼网站是需求端的风险,而在供给端,生成式 AI 正在深刻改变钓鱼攻击的生产方式和攻击节奏。理解供给端的变化,才能全面把握 AI 时代钓鱼威胁的整体格局。

4.1 钓鱼内容生成门槛降低与质量提升

传统钓鱼邮件的制作依赖攻击者的语言能力和排版技巧,非英语母语攻击者制作的钓鱼邮件往往存在拼写错误、语法生硬、格式不规范等问题,这些特征成为用户识别钓鱼的重要线索。生成式 AI 的普及彻底改变了这一状况。攻击者可以利用大语言模型在数秒内生成语言流畅、格式专业、针对性强的钓鱼内容,且可以根据目标企业的行业特征、员工姓名、业务语境进行个性化定制。

ESET 报道中 Scott Leman 明确指出,AI 可以在几秒内生成一封措辞考究的邮件,使用自然语言,并针对特定公司、员工或情境进行定制。这意味着钓鱼内容的质量门槛被大幅拉低,即使是技术能力有限的攻击者也能生产出高度逼真的钓鱼材料。钓鱼攻击的供给端由此从 "专业化手工制作" 转向 "工业化批量生成",攻击数量和覆盖范围显著扩大。

4.2 传统识别特征的失效

长期以来,安全培训教导用户通过以下特征识别钓鱼邮件:拼写错误、语法不当、语气异常、发件人地址可疑、紧急威胁性措辞、不匹配的链接文本与 URL。AI 生成的钓鱼内容在语言层面几乎消除了前三项特征,使得 "看拼写、看语法" 的传统识别方法可靠性大幅下降。

Scott Leman 在报道中将这一变化描述为 "临界点":AI 不仅仅是让钓鱼邮件更具说服力,它正在改变人们在线上寻找和信任信息的方式。当用户收到一封语言完美、格式专业、甚至引用了真实业务上下文的邮件时,传统的识别清单几乎全部失效,用户只能依赖链接核验、多因素认证等技术手段进行防御,而这些手段的部署率在中小企业中仍然偏低。

传统识别特征失效的另一个后果是,安全培训的内容需要根本性更新。过去以 "识别可疑特征" 为核心的培训模式,在 AI 生成钓鱼内容面前效果递减,培训重心需要转向 "验证身份而非怀疑内容"—— 即无论邮件看起来多么正常,涉及转账、密码重置、敏感信息提交的操作都必须通过独立渠道二次验证。

4.3 漏洞武器化周期的急剧压缩

生成式 AI 对网络攻击的加速作用不仅体现在钓鱼内容生成上,还体现在漏洞利用的开发速度上。ESET 报道引用零日时钟(Zero Day Clock)的统计数据指出,软件漏洞从公开披露到被真实世界攻击利用的中位周期,已从 2018 年的 771 天下降至 2026 年的零天。零天中位意味着攻击者通常在漏洞公开之时就已经开始利用,企业几乎没有时间在攻击开始前安装安全更新。

这一急剧压缩的背后,AI 的逆向分析能力起到了关键作用。Scott Leman 在报道中举例说明,AI 可以分析新发布的安全补丁,逆向推导出补丁所修复的漏洞,并在极短时间内帮助生成可工作的攻击利用代码。在最近一次涉及浏览器安全更新的测试中,先进 AI 模型在不到一小时内就分析了补丁并生成了可用的漏洞利用程序,而这项工作在过去需要专业安全研究人员花费大量时间。

漏洞武器化周期压缩与钓鱼攻击之间存在直接关联。攻击者在获取零日漏洞后,可以将漏洞利用嵌入钓鱼邮件的附件或链接中,当用户点击钓鱼链接时,恶意页面利用零日漏洞在用户设备上执行代码,实现从钓鱼到终端入侵的完整攻击链。漏洞利用周期越短,企业通过补丁修复阻断攻击链的时间窗口越窄,钓鱼作为初始访问向量的价值就越高。

4.4 凭据窃取后的商业邮件欺诈链条

AI 搜索推荐和传统钓鱼邮件的一个共同目标是窃取用户的登录凭据。ESET 报道特别强调了凭据窃取之后的攻击升级路径:一旦攻击者获取了真实的电子邮件账号访问权限,就可以监控对话、访问文件、冒充账号持有者,并利用被攻陷的账号向同事、客户或供应商发起进一步攻击。

其中最具破坏性的衍生攻击是商业邮件欺诈(BEC)。攻击者在监控到某笔发票即将支付时,从真实邮箱账号发送一封邮件,声称收款银行账户已变更,要求客户将款项打入新的账户。由于邮件来自真实的邮箱地址,甚至可能是已有对话线程的延续,客户几乎没有理由怀疑异常,等到双方发现问题时资金往往已经转移。Scott Leman 将这一场景描述为 "攻击者用用户自己的钥匙从前门走进来",杀毒软件在整个过程中检测不到任何病毒文件,因为攻击利用的是合法凭据和合法邮件通道。

这一攻击链条的存在说明,AI 搜索推荐导向伪造登录页面并非孤立的安全事件,而是一个可能引发连锁财务损失的攻击入口。用户在 AI 推荐的伪造登录页面上输入凭据,只是攻击的第一步,后续的账号监控、商业邮件欺诈、资金转移才是造成实质性损害的环节。

5 用户信任转移与风险感知偏差

技术层面的风险最终需要通过用户的行为才能转化为实际损害。AI 搜索推荐场景中,用户的信任转移和风险感知偏差是连接技术缺陷与实际损失的关键中介变量。

5.1 AI 权威感对用户警惕性的消解

生成式 AI 对话系统在交互设计上呈现出一种 "权威助手" 的形象:回答条理清晰、语气自信、信息密度高,用户在长期使用中容易形成 "AI 说的大概率是对的" 的认知惯性。当 AI 在回答中嵌入链接时,用户倾向于将链接视为 AI 经过筛选后的推荐,而非需要独立核验的陌生 URL。这种权威感对用户警惕性的消解,是 AI 搜索推荐风险区别于传统钓鱼渠道的核心特征。

在电子邮件场景中,用户至少可以查看发件人地址、邮件头信息、域名拼写等线索来判断可信度;而在 AI 对话场景中,链接直接嵌入在流畅的自然语言回答中,没有发件人、没有邮件头、没有域名对比参照,用户缺乏可操作的核验线索。加之 AI 系统通常不会对输出的链接进行风险标注或安全提示,用户在没有任何警示的情况下点击链接,进入钓鱼页面后又因页面制作精良而进一步降低警惕,最终完成凭据输入或资金转账。

反网络钓鱼技术专家芦笛指出,AI 权威感消解警惕性的本质是 "自动化信任偏差",用户将对 AI 系统整体能力的信任不恰当地延伸到了 AI 输出的每一个具体链接上,而忽略了系统能力与单个输出安全性之间并不存在必然对应关系。纠正这一偏差需要 AI 平台在输出链接时主动提供安全状态信息,使用户在点击前获得核验依据。

5.2 杀毒软件认知误区

ESET 报道中专门讨论了一个普遍存在的认知误区:许多用户认为安装了杀毒软件就足以防御现代网络攻击。Scott Leman 明确指出,杀毒软件仍然是必要的第一道防线,但并非每一次现代网络攻击都涉及病毒文件。在钓鱼攻击中,攻击者通过伪造登录页面获取用户的合法凭据,整个过程不涉及恶意代码的执行,杀毒软件无从检测。当攻击者使用合法凭据登录用户邮箱后,所有操作都通过正常的邮件协议进行,杀毒软件同样无法识别异常。

这一认知误区在 AI 搜索推荐场景中被进一步放大。用户可能认为,既然自己的设备安装了杀毒软件,即使点击了 AI 推荐的链接也不会有问题。但如果链接指向的是伪造登录页面,用户输入凭据后遭受的是账号劫持而非恶意代码感染,杀毒软件完全不发挥作用。用户对杀毒软件的过度依赖,实质上替代了本应进行的链接核验和身份验证行为,增加了钓鱼攻击成功的概率。

5.3 中小企业的特殊脆弱性

ESET 报道多次强调中小企业在 AI 加速的威胁环境中面临特殊困难。中小企业通常缺乏专门的安全团队和全天候监控能力,无法像大型企业那样建立完整的安全运营中心。当漏洞武器化周期压缩至零天时,中小企业甚至没有足够的人力和流程来及时评估补丁、测试兼容性、部署更新,在攻击开始前完成修复的可能性极低。

在 AI 搜索推荐风险方面,中小企业的脆弱性体现在三个层面。其一,中小企业员工的安全培训覆盖率和培训质量通常低于大型企业,员工对 AI 推荐链接的警惕性更弱。其二,中小企业更倾向于使用免费或低成本的 AI 工具,这些工具的安全校验功能可能不如企业级产品完善。其三,中小企业一旦因钓鱼攻击导致邮箱被劫持并发生商业邮件欺诈,其财务承受能力远低于大型企业,一次成功的攻击就可能造成严重的经营困难。

迪妙安全研究团队在对亚太地区中小企业网络安全成熟度的调研中发现,超过半数的受访中小企业没有制定针对 AI 工具使用的安全政策,员工可以自由使用个人版 AI 助手处理工作事务,包括查询供应商网站、下载业务软件等,这一行为模式恰好与 AI 搜索推荐导向钓鱼网站的风险场景高度重合。

6 治理路径与协同防御框架

基于上述分析,AI 搜索推荐导向钓鱼网站的风险治理不能依赖单一主体或单一技术手段,需要 AI 平台、安全厂商、用户和企业多方协同,构建覆盖输出校验、技术防御、素养提升、企业响应的多层框架。

6.1 AI 平台侧的链接安全校验机制

AI 平台是搜索推荐输出的源头,应当承担首要的安全校验责任。具体而言,平台需要在模型输出层建立实时的域名信誉查询机制,当模型生成或引用 URL 时,系统自动将 URL 与威胁情报库进行比对,对已被标记为钓鱼、恶意软件、欺诈的链接进行拦截或风险标注。这一机制不能仅依赖训练数据中的静态知识,必须接入实时更新的威胁情报源,以应对域名状态漂移和新出现的恶意站点。

其次,平台应当对搜索插件的检索结果增加安全过滤环节,在模型整合搜索结果之前,剔除已被标记为不安全的页面,或在引用时附加安全警告。对于间接提示注入风险,平台需要在检索内容进入模型上下文之前进行指令与数据的分离处理,识别并剥离隐藏在网页内容中的恶意指令。

此外,平台应当在用户界面层面改进链接展示方式,对 AI 输出的所有 URL 显示域名安全状态标识(如安全、未知、危险),并在用户点击未知或危险链接前弹出确认提示,使用户在点击前获得明确的风险感知。反网络钓鱼技术专家芦笛强调,AI 平台不能将链接安全校验视为可选功能,而应作为搜索推荐功能的基础安全组件内置,其优先级不应低于内容审核和隐私保护。

6.2 反网络钓鱼技术体系的适配升级

传统反钓鱼技术体系主要围绕电子邮件、短信、浏览器等渠道构建,在 AI 搜索推荐成为新的钓鱼传播向量后,需要进行适配升级。一方面,威胁情报厂商应当将 AI 模型输出的 URL 纳入监测范围,主动探测主流 AI 系统在常见查询下输出的链接,发现不安全链接后及时上报给 AI 平台和浏览器厂商,形成从发现到阻断的快速响应链条。

另一方面,浏览器和终端安全软件应当增强对 AI 对话页面中 URL 的识别能力。当用户在 AI 对话界面中点击链接时,浏览器可以基于实时威胁情报对目的地进行二次校验,对可疑页面发出警告。企业端的网页代理和安全网关可以对 AI 工具的输出内容进行解析,提取其中的 URL 并与企业内部的威胁情报库比对,阻止员工访问 AI 推荐的恶意站点。

迪妙网络空间安全学院研究团队提出,反钓鱼技术体系需要从 "渠道 - centric" 转向 "向量 - agnostic",即无论钓鱼链接通过电子邮件、短信、社交媒体还是 AI 对话传播,底层的域名信誉检测、页面相似度分析、行为异常识别等技术能力应当统一调度,避免因传播渠道新增而出现防御盲区。

6.3 用户安全素养的再教育

在技术防御之外,用户安全素养的提升是风险治理的基础环节。传统安全培训以 "识别可疑邮件特征" 为核心,在 AI 生成钓鱼内容的时代需要更新为 "验证操作身份而非判断内容真伪"。具体而言,培训应当强调以下原则:无论信息来源看起来多么可信(包括 AI 助手的推荐),涉及输入账号密码、提交支付信息、下载软件、执行转账的操作,都必须通过独立渠道验证目的地的真实性,例如手动输入官方域名、拨打官方电话确认、使用密码管理器自动填充(密码管理器只会在匹配的正规域名上自动填充,不会在仿冒页面上填充)。

针对 AI 搜索推荐的特定风险,安全培训应当明确告知用户:AI 输出的链接不等于安全背书,用户应当像对待电子邮件中的陌生链接一样对待 AI 推荐的 URL,点击前查看域名拼写、确认 HTTPS 证书、核对网站主体信息。培训还应当纠正 "安装杀毒软件即可高枕无忧" 的认知误区,说明凭据窃取型钓鱼不涉及病毒文件,杀毒软件无法防御,多因素认证和链接核验才是更有效的防护手段。

6.4 企业端的纵深防御与快速响应

企业端需要建立适配 AI 加速威胁环境的纵深防御体系。在技术层面,企业应当部署多因素认证(MFA)以降低凭据窃取后的账号劫持风险,即使攻击者通过钓鱼获取了密码,没有第二因素也无法登录。企业应当对电子邮件系统部署异常行为检测,当账号出现异地登录、批量转发、规则篡改等可疑行为时自动告警。针对商业邮件欺诈,企业应当建立付款指令变更的强制二次验证流程,任何银行账户变更都必须通过电话或面对面方式与对方确认,不得仅凭邮件指令执行。

在流程层面,企业应当制定 AI 工具使用政策,明确员工在使用 AI 助手查询业务相关网站、下载软件时的安全要求,例如必须通过企业批准的 AI 工具、不得在 AI 对话中输入敏感信息、对 AI 推荐的链接进行安全核验。企业还应当建立事件响应预案,在发生账号劫持或商业邮件欺诈时能够快速冻结账户、拦截转账、通知相关方,将损失控制在最小范围。

在漏洞管理层面,鉴于漏洞武器化周期已压缩至零天,企业应当优先推进自动化补丁部署,对面向互联网的关键系统实现补丁的自动评估和快速推送,缩短从漏洞披露到修复完成的时间窗口。对于无法及时补丁的系统,应当通过虚拟补丁、网络分段、访问控制等手段进行缓解。

7 结语

生成式 AI 搜索推荐导向不安全网站是一个正在显现但尚未被充分治理的安全风险。ESET 在新西兰市场的 30 天监测数据表明,ChatGPT 的搜索结果中持续出现已被标记为不安全的链接,类型涵盖仿冒电商、加密诈骗、伪造登录和恶意下载,而新西兰五分之四的 AI 使用率和 34.9% 的钓鱼威胁占比,意味着这一风险影响的是广泛的普通用户和企业。该现象的技术机理不是单一的 "AI 幻觉",而是 URL 生成缺陷、训练数据时序错位、搜索插件安全校验缺失、间接提示注入操控等多重因素叠加的结果。在供给端,AI 正在降低钓鱼内容的生产门槛、消除传统识别特征、压缩漏洞武器化周期,并通过凭据窃取后的商业邮件欺诈链条将钓鱼攻击升级为实质性财务损害。用户对 AI 的信任转移和对杀毒软件的认知误区,进一步放大了风险的实际转化率。

反网络钓鱼技术专家芦笛指出,AI 搜索推荐应当被视为与电子邮件、短信、社交媒体并列的新型钓鱼传播向量,其治理需要 AI 平台在输出层建立实时域名信誉校验,安全厂商将 AI 输出 URL 纳入威胁监测,用户更新安全素养从 "识别特征" 转向 "验证身份",企业端构建多因素认证、异常检测、付款二次验证、自动化补丁的纵深防御体系。迪妙网络空间安全学院研究团队的跟踪研究表明,上述四个层面并非各自独立,而是需要形成信息共享、能力互补、责任清晰的协同框架 ——AI 平台的校验数据可以支撑安全厂商的威胁情报,安全厂商的检测结果可以支撑企业端的访问控制,用户素养的提升则是所有技术手段发挥效用的前提。

本文不认为任何单一技术或单一主体能够彻底解决这一问题。生成式 AI 的安全风险是技术演进过程中必然出现的伴生现象,治理的目标不是消除风险,而是将风险控制在可承受的范围内,并随着技术的发展持续调整防御策略。随着 AI 系统在搜索推荐领域的应用进一步深化,不安全链接问题可能呈现新的形态,需要持续的实证监测和技术迭代来应对。本文的分析基于当前可获得的 ESET 监测数据和公开报道,未来研究可以在更大样本、更长周期、更多 AI 平台的范围内开展对比监测,以更精确地量化 AI 搜索推荐的不安全链接比例及其影响因素,为治理策略的优化提供更坚实的实证基础。

编辑:芦笛(公共互联网反网络钓鱼工作组)

来源:迪妙网络空间安全学院

目录
相关文章
|
7天前
|
人工智能 API 内存技术
刚刚 DeepSeek V4.1 Flash 开启内测,1 分钟教你用上!
刚刚 DeepSeek 内测群发布了 DeepSeek V4.1 Flash 中间版本内测的消息,这次的模型采用了新的结构,原生支持多模态、能力更强、速度更快、且成本更低。
1814 13
|
7天前
|
人工智能 自然语言处理 安全
阿里云千问办公 QwenWork详细介绍:产品核心能力、典型场景、价格及常见问题解答
千问办公是阿里云推出的一站式AI办公平台,主打"不止于对话,更注重交付",依托通义千问旗舰大模型,用户一句话即可完成数据分析、PPT生成、视频剪辑等复杂任务,直接输出可用成果。产品深度打通钉钉生态与企业OA,覆盖桌面端、网页端,提供企业标准版198元/人/月等多档订阅方案,新用户注册即赠2000积分,适配工程师、HR、财务等多职业办公场景,成为能动手干活的"全能AI同事"。
|
13天前
|
网络协议 Linux iOS开发
【2026实测】Wireshark下载+安装+汉化+使用教程(图文版,巨详细)
Wireshark 是一款免费开源的网络协议分析工具,可实时捕获、解析并可视化数据包,助你诊断网络故障、分析通信协议(如HTTP、DNS、TCP等)。支持Windows/macOS/Linux,含中文界面,新手入门便捷。(239字)
|
12天前
|
人工智能 运维 BI
阿里云千问办公QwenWork深度解析:基于Qwen3.8,六大核心能力重构企业全自动化工作流与计费选型指南
传统AI办公工具大多停留在对话问答、文档摘要、简单文案生成层面,只能完成单点碎片化任务,无法自主拆解复杂业务流程,很难串联多工具、多文档、外部业务系统完成端到端完整工作交付。很多企业在落地AI办公的时候,需要组合多款不同工具,来回切换界面,手动复制粘贴中间结果,智能化改造落地门槛居高不下。千问办公QwenWork是整合多款智能体产品能力打造的一体化企业办公智能体平台,底层基座依托Qwen3.8大模型,打通桌面端Agent、云端Agent、企业协同Agent三种运行形态,不再局限简单问答,接收业务目标之后自主拆解任务步骤,调用各类工具,处理文档、表格、浏览器自动化、数据查询,直接输出可交付的办公
1647 3
|
7天前
|
人工智能
千问办公官网入口:阿里AI办公QwenWork产品页和免费网页端链接
千问办公官网含两大入口:一是网页端(qwenwork.cn),即开即用,支持浏览器直接访问;二是阿里云产品页 https://t.aliyun.com/U/JNKJuO 提供免费/付费版详情、功能介绍及使用指南。
|
9天前
|
SQL 人工智能 前端开发
QoderWake 1.0 正式发布:从桌面里的 Agent,到工作现场的数字员工
QoderWake v1.0正式发布:企业级数字员工团队平台。支持“一句话建岗”,预置10类特训岗位;Waker常驻钉钉/飞书群,@即响应、自动协作、跨任务记忆;具备定时/事件/API多触发方式与统一任务看板;已沉淀27.6万条记忆、12.3万项技能,助力组织实现人机协同增效。
790 2
|
6天前
|
缓存 测试技术 API
DeepSeek V4.1 Flash 内测接入:改个模型名即可调用(附代码)
DeepSeek V4.1 Flash 内测不用申请,base_url 不变、改个模型名就能调,9/10 到期。本文讲清接入、计费限流与多模态注意点。
812 0
DeepSeek V4.1 Flash 内测接入:改个模型名即可调用(附代码)
|
14天前
|
缓存 数据可视化 开发工具
DeepSeek Harness 怎么更新?dsh 更新完整指南:更新本体(npx、npm、源码)与更新插件两种方式
DeepSeek Harness 的更新分两层:本体更新(npx 自动最新、npm update -g、源码 git pull)与插件更新(插件市场点更新、命令行覆盖安装)。本文按「准备 → 更新本体 → 更新插件 → 更新后检查」四步走,覆盖新手常见疑问。
1607 1
DeepSeek Harness 怎么更新?dsh 更新完整指南:更新本体(npx、npm、源码)与更新插件两种方式
|
21天前
|
人工智能 自然语言处理 安全
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
本文聚焦阿里云2026年推出的三款自研AI办公产品,清晰拆解千问办公、Qoder Teams、Qoder CN的差异化定位与能力边界:千问办公主打职场全场景提效,支持自然语言指令一键完成PPT生成、数据分析等高频办公任务;Qoder Teams面向程序员团队,深度整合AI代码生成、团队协同与企业知识库能力;Qoder CN则专为金融、政务等强合规场景打造,实现数据不出境与VPC私有化部署。文章同步给出分场景选型指南与最新活动定价,帮助不同类型的企业按需组合产品,实现业务岗、研发岗与强合规场景的AI能力全覆盖。
3989 5
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
|
12天前
|
人工智能 自然语言处理 安全
阿里云AI数智鉴密:AI 生成内容如何拿到一张"防篡改的身份证"
隐形水印 + C2PA签名:让AI生成内容“持证上岗”。
1156 0