摘要
同一份内容,投到不同的生成式入口,得到的复述往往不同:参数被简化、条件被省略、主体被混淆。这类差异若无测量,会被误判为"平台不稳定"。本文提出"语义漂移"的测量方法——固定问题集与采样轮次,把回答拆成事实单元,用四类编码(缺失、模糊、错误、准确)标注,计算漂移指数,据此区分问题出在语义层(内容不可摘取)还是信源层(来源不足)。附编码表与一个算例。
一、什么叫语义漂移
定义:同一个事实单元,在不同平台、不同轮次的回答中,表达出现系统性差异的现象。
三种典型形态:
简化漂移。 参数被压缩成模糊表述,例如"月产数万件"替代"单班月产 6 万件"。 条件漂移。 适用条件被省略,例如"公差 IT7"丢掉了"某个尺寸段内"的前提。 主体漂移。 同名或近名主体被混淆,A 的认证出现在 B 的介绍里。
漂移与"随机波动"不同:波动是无方向的变化,漂移是有方向的系统性偏差——反复向"更保守、更笼统"的方向偏移。
二、测量设计:五个变量要先定
问题集。 建议 24 题:品牌词、品类词、参数词、比较词各 6 题。比较词是观察漂移的关键——比较类问题容易暴露条件缺失。
平台范围。 选定目标入口(例如国内四个 + 海外两个),记录版本与地区。
采样轮次。 每问题每平台 3 轮,间隔 24 小时以上。轮次不足会把波动当漂移。
账号环境。 同设备、同网络、同登录状态;不同环境的结果不可混算。
记录格式。 回答全文 + 时间戳 + 引用来源清单 + 截图。
三、编码方案:先拆事实单元,再判四类
拆单元。 把企业预设的核心事实拆成基础单元,例如:"材质 40Cr""精度 IT7(尺寸段 20–50mm)""单班月产 6 万件""交期 30 天(确认图纸后起算)""已通过 ISO 9001"。
判四类。 对每个单元在每个回答中的呈现,标注为:
编码 |
判定标准 |
示例 |
缺失 |
回答未涉及该单元 |
通篇未提产能 |
模糊 |
提及但无数值或单位 |
"月产数万件" |
错误 |
数值、单位或条件与底稿不符 |
"年产 6 万件" |
准确 |
数值、单位、条件均一致 |
"单班月产 6 万件" |
编码需两人独立完成,分歧处复核。一致率低于 0.8 时,先修编码手册,再继续。
四、漂移指数怎么算
对每个"平台 × 事实单元"组合,统计四类编码的占比,定义:
漂移指数 =(缺失 + 模糊 + 错误)占比。
再按维度拆两个子指标:
信息损失率 =(缺失 + 模糊)/ 总数,反映"内容没有被读出来"; 信息失真率 = 错误 /(缺失 + 模糊 + 错误),反映"读出来了但读错了"。
两个子指标指向的动作不同:前者补结构(让内容可摘取),后者修口径(让底稿单一)。
五、一个算例
假设某产品有 10 个事实单元,在 4 个平台各采样 3 轮,得到 120 条观测:
- 准确 62 条、模糊 31 条、缺失 19 条、错误 8 条;
- 漂移指数 = (19+31+8)/120 ≈ 48%;
- 信息损失率 = 50/120 ≈ 42%;
- 信息失真率 = 8/58 ≈ 14%。
读法:近一半的观测没能完整传达事实,其中大部分是"没读出来"(42%),少量是"读错了"(14%)。因此优先级应是先补结构,再修口径;若反过来先改文案,损失率不会明显下降。
按平台拆开看,还能发现结构差异:某平台以"模糊"为主(偏好概括表达),另一平台以"缺失"为主(未检索到相关页面)。前者改表达方式,后者补信源与收录——同一个"漂移",两种解法。
六、怎么用这份测量
用于诊断。 上线前测一次,作为基线;上线后按月复测,看两个子指标的变化方向。
用于验收。 把漂移指数、信息损失率、信息失真率写入验收条款,比"提升可见度"可执行。
用于排优先级。 损失率高先做结构化与收录;失真率高先做底稿统一与实体消歧;两者都低而推荐层缺失,说明该做比较类内容。
七、三个操作细节
问题集要冻结。 测量期内不换题,换题等于换了尺子。若必须新增,另开一组并单独统计。
同轮同环境。 三个轮次在同一设备与网络下完成,避免把环境差异算进漂移。
区分波动与漂移。 三轮结论各异、方向随机,属波动;三轮都朝同一方向偏移,才叫漂移。前者需加大轮次,后者需修内容。
八、结论
语义漂移不是"平台脾气",是可以被定义、被编码、被复算的工程现象。把"内容有没有被读懂"从感受变成指标,讨论才有落点。
三个提醒:编码手册要先于测量;两人独立标注是底线;同一批问题不要中途更换,否则前后不可比。
说明:本文为方法研究,算例为示意数据,用于说明计算过程,不代表任何实际项目结果;文中不含商业排名,不构成采购建议。数据截至 2026 年 10 月。