一次中文 AI 引用的结构分析:如何区分 RETRIEVED 与 SELECTED

简介: 用 74 条中文商业问句对两个中文大模型应用做独立会话采集,落盘 6183 条信源记录,并把「检索到」与「被引用」严格分开统计。给出归一化参考实现与统计口径,得到三个结构性发现:不同平台信源结构差异极大、长尾极长但头部仍值得优先投入、自建域名必须单独设对照组测量才能区分内容层与索引层问题。

一、背景:AI 引用分析缺的不是观点,是可复现的测量口径

生成式引擎优化(GEO)在过去一年被讨论得很多,但绝大多数内容停留在"应该做什么"。真正缺的是可复现的测量口径:当一条问句被 AI 回答时,它到底读了哪些来源、最终引用了哪些来源、两者差在哪里?

这三个问题不回答清楚,任何优化动作都是盲调。

我用 74 条中文商业问句,对两个中文大模型应用做了一轮独立会话采集(不登录、不带历史上下文、不提示任何品牌名),把完整响应落盘存档,再做结构化统计。原始数据规模:6183 条信源记录(含检索池候选与最终引用两部分)。

二、核心设计:必须把 RETRIEVED 和 SELECTED 分开

这是整套测量里最关键的一个设计。

集合

对应字段

含义

RETRIEVED

search_result

平台检索到的候选池,未经过筛选

SELECTED

searchGuid

最终写进回答、带引用编号的来源

为什么必须分开:一个来源进入检索池、却没被引用,和压根没进入检索池,是两种完全不同的失败原因。

  • 进了池但没被选中 → 内容说服力 / 相关性 / 时效性问题,属于内容层
  • 压根没进池 → 索引、收录、可抓取性问题,属于基础设施层

把这两件事混为一谈,就会去优化一个根本不存在的瓶颈。

三、工程实现要点

3.1 落盘粒度

每条 Prompt 存一份原始 JSON,保留以下字段,不要只存最终回答:

两个容易踩的坑:

  1. search_result 有时是 JSON 字符串而非数组。必须先判断类型再解析,直接当列表遍历会拿到一串字符。
  2. 不同平台的引用卡片结构不一致。一个把真实 URL 嵌在 text_card 子对象里,另一个是平铺字段。归一化层必须写两套分支,否则其中一个平台的引用统计会全为 0。

3.2 归一化参考实现

3.3 统计口径写死在代码里

聚合时最容易出错的一步是"域名归一化"。同一个站点会出现 www、裸域、带参数、跳转链等多种写法,必须统一到主域再计数:

3.4 测量纪律

这几条决定了数据能不能用:

  • 全新会话,不携带任何历史上下文
  • 不上传知识库、不在 Prompt 里提示目标品牌
  • 不使用系统提示引导提及
  • 测的是自然召回,不是"被引导后的表现"
  • 未知值一律记 UNKNOWN,不做推测填充

四、结果:几个结构性发现

4.1 不同平台的信源结构差异极大

渠道类型

平台 A 引用占比

平台 B 引用占比

开发者社区

20.6%

6.3%

百科 / 词条

13.1%

0.6%

门户 / 财经媒体

11.5%

10.5%

短视频生态自有内容

0%

15.9%

结论:不存在"一套内容通吃所有 AI 平台"的策略。 同一个问句在平台 A 上靠开发者社区和百科类内容支撑,在平台 B 上则高度依赖其自有内容生态。渠道选择必须按平台分治。

4.2 长尾极长,但头部集中度并不低

平台 A 的 567 条最终引用分布在 204 个域名上,第一名只占 13.6%;检索池更分散,4804 条候选落在 1256 个域名。平台 B 的 812 条引用分布在 429 个域名。

这意味着两件事:

  • 单点押注无效。不存在"发一篇到某个站就能被引用"的捷径。
  • 但头部仍值得优先投入。前 5 个域名吃掉了两平台约 30% 的引用,性价比明显高于长尾。

4.3 技术社区类内容在引用中的权重最高

按渠道类型聚合后,与本次测量最相关的一个结果是:开发者 / 技术社区类内容占平台 A 全部引用的 20.6%,是所有渠道类型里最高的;进一步看单一域名,占比最高的正是阿里云开发者社区。

这个结果对做技术内容的人是一个正向信号:技术社区里的工程实践类文章,在中文 AI 回答的引用结构中权重相当高,而且这类内容天然具备"可被引用"的结构特征——有明确的问题、具体的实现、可核对的字段与口径。

反过来说,只写观点、不写实现的文章很难进入引用池:它们缺少可以被单独摘出的、可验证的技术断言。

4.4 自建域名应当被单独作为对照组测量

这是本文在方法上最重要的一个建议。

在采样中我额外设了一个对照组:把一个品牌自建站点单独标记,观察它三个指标——提及率 / 被引用率 / 被检索率。结果是三项全部为 0,也就是说它从未进入过检索池。

这个观测的价值不在于某个具体站点,而在于它揭示了一类容易被误判的情形:

如果只看"有没有被引用",你会得出"内容写得不好"的结论,然后去改内容。 但真正的原因在上一层:这个域名根本没有进入候选集。

要区分这两种情况,唯一的办法就是单独测量自有域名的检索命中率——这也是上文强调必须分开 RETRIEVED 与 SELECTED 的现实理由。

常见的索引层成因有两类:域名尚未被主流中文索引收录(例如站点可抓取性、索引准入条件未满足),以及可抓取入口不足(缺少面向 AI 的说明文件、结构化数据不完整、站点地图未划分内容子集)。

说明:以上均为采集当日(2026-09-23)的观测状态。写"采集当日"是必要的——索引层状态会随时间变化,如果表述成现在时,读者按图索骥去核查就会发现与事实不符。 这也是本文方法的一部分:观测必须带时间戳,否则结论无法复现。

在索引层问题解决之前,优化内容对 AI 可见度的边际收益接近 0。 这是本轮实测最直接的一个教训。

五、局限

我愿意明确写出这套方法的边界,因为不写就没有参考价值:

  • 样本为 74 条中文商业问句,不代表所有行业,结论不能外推到全部领域
  • 单轮采集,未做时间序列,无法判断信源分布是否稳定
  • 各平台响应结构会随版本变化,归一化层需要持续维护
  • 部分平台不返回检索池,跨平台 RETRIEVED 对比不完整
  • 采集经由第三方接口转发,不排除中间层对结果有影响

六、可复用清单

如果你要自己跑一轮,最少需要这些东西:

项

要求

Prompt 集

≥ 50 条,覆盖"认知 / 问题 / 方案 / 选型 / 效果测量"多类意图,避免同质

采样纪律

全新会话、无历史、无品牌提示

落盘

每条一份原始 JSON,保留检索池与引用集原始字段,不要只存清洗后结果

判定口径

提及 / 引用 / 检索命中三者分开统计,口径写死在代码里而非人工判读

对照组

至少记录"自有域名被检索率",这是区分内容层与索引层问题的唯一指标

七、结语

AI 引用分析目前最大的问题不是缺工具,而是缺口径。把 RETRIEVED 与 SELECTED 分开、把域名归一化写进代码、把自有域名单独设为对照组——这三件事做完,一轮 74 条问句的采集就能产出可复现、可对照、可迭代的结论。

原始响应数据涉及第三方平台返回内容,此处不公开;文中的字段结构、归一化实现与统计口径均已完整给出,可按上述步骤自行复现。


文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。文中数据来自 2026-09-23 的一轮独立会话采集,采集方法与局限已在第四、五节说明。

相关文章
|
12天前
|
缓存 开发工具 git
DSH skill 怎么安装、放在哪个目录?DeepSeek Harness 技能与插件的区别与用法
dsh skill 不是插件:它是给模型的可加载 Markdown 指令集,由本地提供方按 rank 扫描六个根目录发现,用 dsh plugin add 装不进去。本文讲清六个根目录的优先级、SKILL.md 写法与两个调用开关。
433 4
DSH skill 怎么安装、放在哪个目录?DeepSeek Harness 技能与插件的区别与用法
|
1月前
|
人工智能 数据挖掘 BI
阿里云千问办公QwenWork深度解析:基于Qwen3.8基座,六大核心能力重构企业自动化工作流与计费选型全指南
千问办公QwenWork依托Qwen3.8基座,通过六大核心能力打通文档处理、数据分析、浏览器自动化、自定义技能编排、多端Agent协同、企业业务系统,把AI能力从简单对话升级为完整任务交付,解决企业大量重复办公工作。但AI办公智能体属于效率辅助工具,无法完全替代业务人员专业判断,财务、法务类关键业务输出,必须经过人工审核校验。
386 2
|
3天前
|
人工智能 自然语言处理 安全
AI 赋能金融社会工程攻击风险与防护策略研究
本文以2026年韩日AI金融诈骗事件为案例,剖析生成式AI如何降低语音/短信钓鱼门槛,实现攻击自动化、规模化与定制化;揭示“数据泄露—AI加工—多渠道投递—用户受骗”完整风险链,并提出覆盖技术平台、金融机构、监管与用户的多层防护框架。(239字)
40 2
|
26天前
|
JSON JavaScript 前端开发
Playwright + axe-core + CI:把无障碍回归做成一条能拦住上线的流水线
本文详解如何将Web无障碍(WCAG 2.1 AA)从“上线前人工抽查”升级为CI流水线门禁:通过Playwright+axe-core自动扫描关键页,按impact分级熔断,结合带过期日与责任人的baseline豁免清单,实现全覆盖、可追溯、防退化的工程化保障。
|
2月前
|
数据采集 人工智能 监控
大型企业如何搭建BI系统?完整落地建设全流程指南
本文剖析大型企业BI建设困局,指出其本质是“从数据治理到决策机制的系统性重构”。针对数据孤岛、口径混乱、用不上等痛点,提出覆盖需求诊断、数据治理、敏捷建模、分层应用、智能决策的五步落地路径,并结合瓴羊Quick BI能力,提供可复制的实战指南。
|
2月前
|
数据采集 运维 监控
Agent编排平台怎么选?先问自己这三个问题
选Agent平台不必纠结“谁最好”,关键看是否匹配自身实际。本文提出三问自检法:1.团队能否维护开源底层?2.业务是单点任务还是跨系统长链?3.数据能否出内网?厘清这三点,自然锁定最适合的生产级方案——适配比参数更重要。
114 3
|
1月前
|
人工智能 搜索推荐
生成式引擎优化(GEO)技术架构拆解:企业如何让AI搜索准确"认识"自己
本文介绍生成式引擎优化(GEO)——AI搜索时代的企业新基建。当用户决策入口从搜索引擎转向大模型答案,企业需系统化构建“知识层、信源层、反馈层”,确保AI准确、正向认知自身。全文涵盖技术逻辑、三层架构、五步落地法与实战案例,强调结构化知识与持续迭代的核心价值。(239字)
|
2月前
|
人工智能 自然语言处理 安全
设备制造商询盘下滑复盘:AI搜索如何提升问题精度
某设备制造商发现官网访问量未降但海外询盘锐减,根源在于客户提问模糊(如仅问“最低价”)。本文以AI搜索优化实践为例,揭示如何通过重构产品页、构建买家问题树、分层表单等五步法,提升询盘问题精度——让客户在联系前就理解选型条件,从而提交含材料、产能、场地等关键信息的有效询盘。
152 3
|
2月前
|
人工智能 机器人 Java
从 YC 2026 看企业 AI 落地:Agent 标配化之后,真正缺的是部署力
YC 2026 披露近 400 个项目,95% 与 AI 相关、70% 在做 Agent。本文从工程落地角度,分析智能体走向真实世界的三条主线与所需能力,供开发者参考。
283 0
|
4月前
|
数据可视化 数据挖掘 数据建模
百雀羚 x Quick BI:助力百雀羚双11会员下单金额同比增长15%,老客非会入会率提升168%
百雀羚携手阿里云瓴羊,通过重代码实现老客与会员精细化分层运营,精准识别入会与提质双战线。双11期间会员销售占比创历史新高,老客非会入会率提升168%,沉默人群活跃度提升66%。