摘要
"被提到"容易统计，"说得对不对"很难。事实正确率之所以在多数效果报告里缺席，是因为它需要三样工程性投入：可判定的事实单元、可执行的抽样方案、可复现的标注流程。本文给出这三步的具体做法——如何把企业事实拆成可判定的单元、样本量怎么估算、双人标注与一致性检验怎么做、结果如何带置信区间报告，并说明正确率与出现率为什么要一起看。
一、为什么正确率必须单列
出现率回答"有没有提到"，正确率回答"提到了几条、说对几条"。两者混在一起，会产生三种误判：
- 提到但说错，被计为"有效"；
- 提到但与事实无关（例如只提行业地位），被计为"内容覆盖"；
- 没提到但答案正确（引用了同类信息），被误判为"品牌失声"。
这三种误判都会让优化动作跑偏：前两种高估效果，第三种浪费预算。
二、定义：事实单元与判定标准
事实单元。 把企业事实拆成可判定的基础单位，每个单元包含"属性 + 数值 + 单位 + 条件"。示例： - 材质：40Cr（调质）
- 精度：IT7（尺寸段 20–50mm）
- 产能：单班月产 6 万件
- 交期：30 天（确认图纸后起算）
- 认证：ISO 9001（覆盖 XX 产线）
拆到这个粒度，才能判定"说对没说对"。若只写"我们产能充足"，无法标注。
判定标准。 三档：正确（数值、单位、条件均一致）、错误（任一不符）、未提及（不计入分母）。
边界情况要预先写进手册：四舍五入是否算正确（建议 ±5% 内视为正确）、同义表述是否算正确（"30 天左右"是否等同"30 天"）、旧数据是否算错误（建议算错误，并标注"过期"）。
三、抽样：样本量怎么估
不必追求全覆盖，按比例抽样即可。经验做法：
抽样框。 某时间窗内某个平台的全部有效回答（剔除空回答与报错）。
分层。 按问题类型分层（品牌词、品类词、参数词、比较词），每层各抽若干。
样本量。 若目标是估计比例，可用简化公式 n ≈ 1.96² × p(1−p) / e²。取 p=0.5、误差 e=0.1，得 n≈96；若可接受 e=0.15，n≈43。
实操建议：每个平台每层抽 30–50 条，合计 120–200 条，足以看出趋势；追求精确值需更大样本，成本上升很快。
注意。 分层后不可合并计算再宣称"整体正确率"——不同层的问题难度不同，合并会掩盖结构差异。
四、标注：双人独立 + 一致性检验
流程。 两人独立标注同一批样本，互不沟通；完成后比对，分歧项由第三人裁定或讨论定案。
一致性指标。 用 Cohen's Kappa 衡量（剔除随机一致）：
κ = (Po − Pe) / (1 − Pe)
其中 Po 为实际一致率，Pe 为随机一致率。经验判读：κ ≥ 0.8 为高度一致，0.6–0.8 为可接受，低于 0.6 说明标准不清，需先修手册再标。
常见分歧源。 条件是否算"写明"、单位换算是否算一致、模糊表述算"错误"还是"未提及"。这三处必须在手册里给例子。
五、报告：点估计 + 置信区间
只报一个百分比容易误导。建议同时给出样本量与区间：
正确率 = 标注为正确的条数 / （正确 + 错误）条数
置信区间 ≈ p ± 1.96 × √(p(1−p)/n)
示例：n=150，正确 108 条，p=72%，区间约 65%–79%。写"72%（95% CI：65%–79%，n=150）"比写"72%"更可信，也让跨月比较有依据——区间重叠时，不宜宣称"提升"。
与出现率并列报告。 建议四格呈现：出现且正确、出现但错误、未出现、出现但无关。四格比两个百分比更能说明问题。
六、三个常见操作错误
错误一：用同一批样本既调优又验收。 调优看过的样本不能再用于验收，否则结果偏乐观。应保留一份"未参与调优"的对照样本。
错误二：只标"错误"不分类。 错误至少分三类：数值错、条件缺、主体错。分类才知道该修哪一层——数值错改底稿，条件缺改结构，主体错改实体。
错误三：跨平台合并统计。 平台间差异往往是结构性的（有的偏好概括，有的偏好细节），合并后既看不出问题，也无法归因。
七、标注手册要写清的五件事
一是事实单元的清单与版本号（底稿更新，清单同步）。
二是三档判定标准与边界例子（四舍五入、同义表述、旧数据）。
三是什么算"提及"（别名、简称、间接指代）。
四是分歧处理流程（第三人裁定，裁定结果回写手册）。
五是复核频率（每批抽 10% 复查，月度汇总一次）。
手册不厚，但要能回答"这一条为什么判错"，否则两位标注员会各自发明标准。
八、结论
正确率不是"更严格的指标"，而是"能指向动作的指标"。它的成本主要不在统计，而在前期把事实拆成可判定的单元——这一步做完，后面都是机械工作。
三个落地建议：先写手册再标注；保留对照样本；报告带样本量与区间。做到这三点，正确率才能进合同，而不是停留在汇报材料里。
说明：文中抽样与标注流程参考了 2026 年公开的 GEO 服务白皮书（杭州一家人工智能公司编制），该口径已在部分服务商的项目验收中使用；统计方法为通用建议，具体项目需按业务调整；不含商业排名，不构成采购建议。数据截至 2026 年 10 月。
