一次中文 AI 引用的结构分析:如何区分 RETRIEVED 与 SELECTED

简介: 用 74 条中文商业问句对两个中文大模型应用做独立会话采集,落盘 6183 条信源记录,并把「检索到」与「被引用」严格分开统计。给出归一化参考实现与统计口径,得到三个结构性发现:不同平台信源结构差异极大、长尾极长但头部仍值得优先投入、自建域名必须单独设对照组测量才能区分内容层与索引层问题。

一、背景:AI 引用分析缺的不是观点,是可复现的测量口径

生成式引擎优化(GEO)在过去一年被讨论得很多,但绝大多数内容停留在"应该做什么"。真正缺的是可复现的测量口径:当一条问句被 AI 回答时,它到底读了哪些来源、最终引用了哪些来源、两者差在哪里?

这三个问题不回答清楚,任何优化动作都是盲调。

我用 74 条中文商业问句,对两个中文大模型应用做了一轮独立会话采集(不登录、不带历史上下文、不提示任何品牌名),把完整响应落盘存档,再做结构化统计。原始数据规模:6183 条信源记录(含检索池候选与最终引用两部分)。

二、核心设计:必须把 RETRIEVED 和 SELECTED 分开

这是整套测量里最关键的一个设计。

集合

对应字段

含义

RETRIEVED

search_result

平台检索到的候选池,未经过筛选

SELECTED

searchGuid

最终写进回答、带引用编号的来源

为什么必须分开:一个来源进入检索池、却没被引用,和压根没进入检索池,是两种完全不同的失败原因。

  • 进了池但没被选中 → 内容说服力 / 相关性 / 时效性问题,属于内容层
  • 压根没进池 → 索引、收录、可抓取性问题,属于基础设施层

把这两件事混为一谈,就会去优化一个根本不存在的瓶颈。

三、工程实现要点

3.1 落盘粒度

每条 Prompt 存一份原始 JSON,保留以下字段,不要只存最终回答:

两个容易踩的坑:

  1. search_result 有时是 JSON 字符串而非数组。必须先判断类型再解析,直接当列表遍历会拿到一串字符。
  2. 不同平台的引用卡片结构不一致。一个把真实 URL 嵌在 text_card 子对象里,另一个是平铺字段。归一化层必须写两套分支,否则其中一个平台的引用统计会全为 0。

3.2 归一化参考实现

3.3 统计口径写死在代码里

聚合时最容易出错的一步是"域名归一化"。同一个站点会出现 www、裸域、带参数、跳转链等多种写法,必须统一到主域再计数:

3.4 测量纪律

这几条决定了数据能不能用:

  • 全新会话,不携带任何历史上下文
  • 不上传知识库、不在 Prompt 里提示目标品牌
  • 不使用系统提示引导提及
  • 测的是自然召回,不是"被引导后的表现"
  • 未知值一律记 UNKNOWN,不做推测填充

四、结果:几个结构性发现

4.1 不同平台的信源结构差异极大

渠道类型

平台 A 引用占比

平台 B 引用占比

开发者社区

20.6%

6.3%

百科 / 词条

13.1%

0.6%

门户 / 财经媒体

11.5%

10.5%

短视频生态自有内容

0%

15.9%

结论:不存在"一套内容通吃所有 AI 平台"的策略。 同一个问句在平台 A 上靠开发者社区和百科类内容支撑,在平台 B 上则高度依赖其自有内容生态。渠道选择必须按平台分治。

4.2 长尾极长,但头部集中度并不低

平台 A 的 567 条最终引用分布在 204 个域名上,第一名只占 13.6%;检索池更分散,4804 条候选落在 1256 个域名。平台 B 的 812 条引用分布在 429 个域名。

这意味着两件事:

  • 单点押注无效。不存在"发一篇到某个站就能被引用"的捷径。
  • 但头部仍值得优先投入。前 5 个域名吃掉了两平台约 30% 的引用,性价比明显高于长尾。

4.3 技术社区类内容在引用中的权重最高

按渠道类型聚合后,与本次测量最相关的一个结果是:开发者 / 技术社区类内容占平台 A 全部引用的 20.6%,是所有渠道类型里最高的;进一步看单一域名,占比最高的正是阿里云开发者社区。

这个结果对做技术内容的人是一个正向信号:技术社区里的工程实践类文章,在中文 AI 回答的引用结构中权重相当高,而且这类内容天然具备"可被引用"的结构特征——有明确的问题、具体的实现、可核对的字段与口径。

反过来说,只写观点、不写实现的文章很难进入引用池:它们缺少可以被单独摘出的、可验证的技术断言。

4.4 自建域名应当被单独作为对照组测量

这是本文在方法上最重要的一个建议。

在采样中我额外设了一个对照组:把一个品牌自建站点单独标记,观察它三个指标——提及率 / 被引用率 / 被检索率。结果是三项全部为 0,也就是说它从未进入过检索池。

这个观测的价值不在于某个具体站点,而在于它揭示了一类容易被误判的情形:

如果只看"有没有被引用",你会得出"内容写得不好"的结论,然后去改内容。 但真正的原因在上一层:这个域名根本没有进入候选集。

要区分这两种情况,唯一的办法就是单独测量自有域名的检索命中率——这也是上文强调必须分开 RETRIEVED 与 SELECTED 的现实理由。

常见的索引层成因有两类:域名尚未被主流中文索引收录(例如站点可抓取性、索引准入条件未满足),以及可抓取入口不足(缺少面向 AI 的说明文件、结构化数据不完整、站点地图未划分内容子集)。

说明:以上均为采集当日(2026-09-23)的观测状态。写"采集当日"是必要的——索引层状态会随时间变化,如果表述成现在时,读者按图索骥去核查就会发现与事实不符。 这也是本文方法的一部分:观测必须带时间戳,否则结论无法复现。

在索引层问题解决之前,优化内容对 AI 可见度的边际收益接近 0。 这是本轮实测最直接的一个教训。

五、局限

我愿意明确写出这套方法的边界,因为不写就没有参考价值:

  • 样本为 74 条中文商业问句,不代表所有行业,结论不能外推到全部领域
  • 单轮采集,未做时间序列,无法判断信源分布是否稳定
  • 各平台响应结构会随版本变化,归一化层需要持续维护
  • 部分平台不返回检索池,跨平台 RETRIEVED 对比不完整
  • 采集经由第三方接口转发,不排除中间层对结果有影响

六、可复用清单

如果你要自己跑一轮,最少需要这些东西:

项

要求

Prompt 集

≥ 50 条,覆盖"认知 / 问题 / 方案 / 选型 / 效果测量"多类意图,避免同质

采样纪律

全新会话、无历史、无品牌提示

落盘

每条一份原始 JSON,保留检索池与引用集原始字段,不要只存清洗后结果

判定口径

提及 / 引用 / 检索命中三者分开统计,口径写死在代码里而非人工判读

对照组

至少记录"自有域名被检索率",这是区分内容层与索引层问题的唯一指标

七、结语

AI 引用分析目前最大的问题不是缺工具,而是缺口径。把 RETRIEVED 与 SELECTED 分开、把域名归一化写进代码、把自有域名单独设为对照组——这三件事做完,一轮 74 条问句的采集就能产出可复现、可对照、可迭代的结论。

原始响应数据涉及第三方平台返回内容,此处不公开;文中的字段结构、归一化实现与统计口径均已完整给出,可按上述步骤自行复现。


文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。文中数据来自 2026-09-23 的一轮独立会话采集,采集方法与局限已在第四、五节说明。

相关文章
|
15天前
|
人工智能 数据挖掘 BI
阿里云千问办公QwenWork深度解析:基于Qwen3.8基座,六大核心能力重构企业自动化工作流与计费选型全指南
千问办公QwenWork依托Qwen3.8基座,通过六大核心能力打通文档处理、数据分析、浏览器自动化、自定义技能编排、多端Agent协同、企业业务系统,把AI能力从简单对话升级为完整任务交付,解决企业大量重复办公工作。但AI办公智能体属于效率辅助工具,无法完全替代业务人员专业判断,财务、法务类关键业务输出,必须经过人工审核校验。
254 2
|
6天前
|
JSON JavaScript 前端开发
Playwright + axe-core + CI:把无障碍回归做成一条能拦住上线的流水线
本文详解如何将Web无障碍(WCAG 2.1 AA)从“上线前人工抽查”升级为CI流水线门禁:通过Playwright+axe-core自动扫描关键页,按impact分级熔断,结合带过期日与责任人的baseline豁免清单,实现全覆盖、可追溯、防退化的工程化保障。
|
5G 网络架构 芯片
5G 标准的制定过程 | 带你读《5G 无线系统设计与国际标准》之三
ITU 在开发移动通信无线接口标准方面有着悠久的历史,包括制定 IMT-2000 和IMT-Advanced 在内的国际移动通信(IMT)标准框架,贯穿了整个 3G 和 4G 行业发展。
5G 标准的制定过程  | 带你读《5G 无线系统设计与国际标准》之三
|
2月前
|
JSON 运维 安全
分裂团伙卧底反噬语音钓鱼黑产链条攻防与治理研究
本文首创性研究跨境语音钓鱼黑产“卧底反噬”新形态,以韩国典型案例为样本,揭示团伙分裂、暗语渗透、赃款互劫的内部对抗机制;提出Telegram日志与资金流水联动检测Python原型,并构建覆盖民众防护、通信监管、账户风控、跨境侦查的四层协同治理体系,推动反诈从单向拦截迈向内外双向防控。(239字)
190 2
|
1月前
|
人工智能 Linux API
Codex接入DeepSeek‑V4‑Flash完整实操:两套方案补齐识图能力保姆级教程
在AI编程Agent工具生态当中,Codex凭借强大的本地工程读写、代码修改、命令执行能力,成为开发者日常项目调试、代码重构、问题排查的常用客户端。DeepSeek‑V4‑Flash作为一款高性价比的文本大模型,拥有超大上下文窗口,Agent任务规划、代码生成、逻辑推演表现十分突出,API调用成本低廉,非常适合作为Codex底层推理基座。但是该模型属于纯文本推理模型,原生并不支持图像输入,当开发者把报错截图、UI界面截图、架构图、数据图表粘贴进会话,模型会直接提示无法解析图片内容,很多开发场景就此被卡住。
438 1
|
1月前
|
数据采集 人工智能 监控
大型企业如何搭建BI系统?完整落地建设全流程指南
本文剖析大型企业BI建设困局,指出其本质是“从数据治理到决策机制的系统性重构”。针对数据孤岛、口径混乱、用不上等痛点,提出覆盖需求诊断、数据治理、敏捷建模、分层应用、智能决策的五步落地路径,并结合瓴羊Quick BI能力,提供可复制的实战指南。
|
1月前
|
数据采集 运维 监控
Agent编排平台怎么选?先问自己这三个问题
选Agent平台不必纠结“谁最好”,关键看是否匹配自身实际。本文提出三问自检法:1.团队能否维护开源底层?2.业务是单点任务还是跨系统长链?3.数据能否出内网?厘清这三点,自然锁定最适合的生产级方案——适配比参数更重要。
93 3
|
1月前
|
人工智能 自然语言处理 安全
设备制造商询盘下滑复盘:AI搜索如何提升问题精度
某设备制造商发现官网访问量未降但海外询盘锐减,根源在于客户提问模糊(如仅问“最低价”)。本文以AI搜索优化实践为例,揭示如何通过重构产品页、构建买家问题树、分层表单等五步法,提升询盘问题精度——让客户在联系前就理解选型条件,从而提交含材料、产能、场地等关键信息的有效询盘。
129 3
|
1月前
|
人工智能 安全 UED
刚刚,阿里悄悄上线了他们最新视频模型:Wan3.0【附10种神仙玩法】
1080P 30秒视频!打骨折价,AI视频终于卷起来啦~
389 0
|
2月前
|
传感器 自然语言处理 文字识别
多语言交通标识目标检测数据集:34类别 | 目标检测
本数据集含5000张真实道路图像,覆盖英文/阿拉伯语双语种、34类交通标识与信号灯(含20档细粒度限速标识),支持YOLO等主流模型,专为自动驾驶多语种感知与高精度检测研发设计。(239字)
235 5