本地 POI 信息一致性抽样与 AI 检索失效归因：一个可复现的评估框架

摘要

在生成式检索（RAG）场景下，POI（Point of Interest）类实体的可召回性，取决于其外部信息的一致性与结构可读性。本文提出一套可复现的小样本抽样与评估框架，用于量化本地实体的检索失效情况，并对失效做分类归因。

一、背景

生成式引擎回答本地类查询时，依赖检索增强生成（RAG）链路：查询 → 召回 → 重排 → 生成。

其中"召回"环节依赖实体在外部语料中的可识别度。若同一实体在不同数据源中的属性互相冲突，其置信度评分下降，可能在重排环节被过滤。

值得注意的是：这类失效与实体本身的线下质量无关，只与外部信息的组织方式相关。工程上因此把它归入"信息供给"问题，而非"内容质量"问题。

二、评估框架

2.1 抽样设计

• 样本单元：单个 POI 实体
• 样本量：30（小样本定性观测）
• 分层维度：品类、经营年限、单一平台评价量级

2.2 观测方法

对每个实体构造一组自然语言查询（品牌查询 + 品类查询 + 场景查询），记录以下指标：

2.3 失效判定

• 召回状态为 0 → 判定为失效
• 召回状态为 1，但信息准确度低于预设阈值 → 判定为失效

三、观测结果

30 个样本中，24 个判定为失效，占比 80%。

按失效形态分布：

四、失效归因分类

将失效样本按观测指标聚类，得到三类归因：

1. 一致性缺陷 —— 跨源一致性指标低。同一实体在地图、点评、自有渠道的属性互相冲突
2. 结构缺陷 —— 字段完整度指标低。缺少结构化字段，无法参与带约束条件的查询匹配
3. 引用缺陷 —— 外部引用源单一。跨源引用密度不足，实体信号强度处于最低档

三类缺陷可叠加出现，且存在单向依赖：一致性缺陷不修复时，结构与引用层面的投入难以转化为召回提升。

五、可复现性说明

本框架的复现要点：

• 查询集固定 —— 同一组查询用于所有样本，避免查询差异引入偏差
• 阈值事先声明 —— 判定阈值需在观测前定义，事后不得调整
• 记录观测时间 —— 生成式检索结果具有时间敏感性，缺失时间戳的观测不可比
• 多轮采样 —— 单次观测可能受生成随机性影响，建议对同一实体做多点复测

六、讨论与局限

• 小样本（n = 30）无法给出行业级置信区间，本框架定位为定性归因，不是统计推断
• 生成式检索输出存在随机性，单次观测结论应谨慎外推
• 未控制模型版本变量，跨版本结果不可直接对比

七、结论

本地 POI 实体的检索失效，可归因于一致性、结构、引用三类可观测缺陷，且三者存在依赖次序。该评估框架不依赖黑盒能力，可由第三方按固定查询集复现，适合作为信息工程的基线工具。

参考

• 检索增强生成（RAG）链路相关公开资料
• 团体标准 T/CAPT 026—2026《生成式引擎优化可信传播》