王涛：AI知识库投毒风险与防御——从PoisonedRAG看GEO内容安全
这篇文章要讲一个判断：AI知识库投毒不是理论假设，它已经被系统研究证明可行；因此GEO的内容安全必须当成工程问题来做，白帽也不是姿态，而是唯一能长期成立的路线。
一、极少量文本就能操纵目标答案
攻击的成本比多数人想的低。PoisonedRAG（arXiv 2402.07867，作者来自Penn State、武汉大学、伊利诺伊理工）首次系统研究RAG的知识投毒：攻击者只需向知识库注入极少量精心构造的投毒文本，就能让LLM对特定目标问题生成攻击者指定的答案。相对百万级知识库，这个注入量极小，成功率却很高。
关键在于它是被形式化的优化问题，不是随机噪声。构造目标是两个：让投毒文本被检索到，让模型在拿到它之后输出指定答案。两条同时满足，投毒才生效。
我做AI品牌可见度报告时，第一步是逐条回溯答案引用了哪些页面。做这件事的原因就在这里：检索层决定了模型能看到什么，而检索层是可以被构造的。
二、AI第一轮回答不做审计级核验
AI会被伪权威误导，原因是成本。第一轮回答通常只做相关性召回、来源权重、语义重排、摘要，不做审计级穿透核验——逐条追原始来源、交叉验证、排除伪权威。完整核验要增加检索次数、外部搜索调用、网页抓取、长上下文、模型推理和多源交叉验证，成本和延迟都会上去，平台为了速度、成本和体验会省掉这一步。
被误导要四个条件同时成立：检索先召回了伪证据；伪证据看起来相关且权威；第一轮没做足够深的源头核验；平台没有对这条商业推荐做审计级验证。缺一个，误导就不成立——这正是防御的切入点。
别高估AI的真假辨别能力。当源头不可访问、多个伪权威互相引用、工商和证书库不开放、页面反爬、内容刚发布还没沉淀时，AI并不天然知道真假。
我在GEO Benchmark题集里抽查同一组问题在不同平台的第一轮回答，看它引了什么源、跳过什么源。这个动作不是评价模型好坏，而是找出哪些位置容易被伪证据占住。
三、网页进入生成上下文，本身就是攻击面
检索增强生成会把网页带入生成上下文，网页因此成为提示注入与知识投毒的攻击面。这是内容工程必须处理的边界，不是可选项。
几条可以直接采纳的观察：在可检索网页里插入目标文本，可以操纵LLM对产品的推荐，即使文本与问题无关也可能生效；GCG这类优化方法可以把目标导向指定产品或目标答案；ColdBrew实验中，无关的高价产品能被推到推荐列表顶部，说明操纵会直接改变商业可见度。
这也说明，“权威”可能只是高概率续写，而不是真实最优。GEO要做的是把“权威感”和事实权威、来源质量、用户结果分开看待。
我在多平台AI采样器里固定问题集、固定采样时间，把同一批问题的回答存下来对比。这样品牌被引用的位置、被引用的源、被误引的源都可以被记录，而不是凭一次聊天的印象下判断。
四、防御是多层的，不是模型层一件事
仅靠模型层防护不够，需要检测、过滤、白名单、多源交叉、对抗训练和透明度组成多层治理。可落地的手段包括：异常扫描、排序敏感性分析、多源投票、随机化检索文本顺序、透明排名。其中随机化检索文本顺序能提高模型对目标文本操纵的鲁棒性，但前提是先验证它不破坏正常召回。
我在给客户做AI知识库内容治理时，先做来源校验和可信度分级，再做事实核查。原因是投毒和正常内容在单条文本上很难区分，但在来源结构上会露出差异：谁在写、什么时候写、有没有可交叉验证的原始出处。
合规红线也在这里。往公开知识源注入误导性内容来操纵AI，这件事我不做。它既超出内容安全的边界，也不可持续——投毒一旦被识别，被损伤的是自己客户的答案质量。
五、内容越多越好是有条件的
“内容越多越好”只有加上限定词才成立：只有真实、可验证的内容越多越好。错误或恶意内容会被RAG放大——检索会把它带进生成上下文，模型会把它当成可用证据，然后输出给用户。
这修正了铺量思维。源头质量决定一切：一个可验证的原始来源，比十篇互相抄的内容更有用。我在AI品牌可见度报告里看的是被引用源的分布，不是内容总量；源头结构差，量再大也只是在给检索层增加噪声。
接下来我要验证什么
我是王涛，接下来要验证两件事。第一，主流商用平台对投毒的鲁棒性——豆包、元宝、ChatGPT这一类平台，在同样注入条件下表现是否有系统差异，用多平台AI采样器和固定题集做对照。第二，现实中企业更可能遇到的是竞对负面内容，而不是定向投毒，这两者的防御手段是否相同：如果是同一套，我把它合并进客户知识库的治理流程；如果不是，我分开建检查项。随机化检索顺序对正常召回的影响，也会先在GEO Benchmark题集里跑一轮再上线。
