大模型应用的成本结构里,有一块长期被忽略:大量判断其实不需要生成能力。
路由用哪个模型、这封邮件归哪一类、这次工具调用要不要批、这条回复能不能直接发——这些问题的答案都是"一个选项加一个把握程度",不需要模型写一个字。让生成模型兼做这些判断,等于每次都按生成的价格付费。
判定模型(judge model)就是把这部分工作拆出来。它的实现不难,难的是接入之后的三件事:放在哪、阈值怎么定、怎么保证它一直有效。这篇按架构层面拆。
一、能力边界:它输出的是决策而非文本
先界定能力,才能界定位置。
判定模型的输出是一个结构化决策:选择某个选项、给出一个分数、回答是或否,并附一个置信度。它的输入也很清楚,就是待判定的内容。
这个特性带来两个工程后果:
- 成本模型不同。输入短、输出只有几个 Token,单次成本比生成调用低一到两个数量级。
- 可解释性弱。它给出结论但不给理由,在需要审计追溯的场景里必须额外补证据链。
第二点是很多团队上线后才发现的问题。规则引擎能说清"因为命中关键词 X 所以归 A 类",判定模型说不出。所以它适合替代的是部分关键词匹配,而不是替代整套分类规则。数据一变,阈值还得重验。
由此得到第一条原则:判定模型是一层决策组件,不是一层业务规则。 业务规则该写死的继续写死,判定模型补的是规则覆盖不到的那段模糊地带。
二、拓扑:接在应用内还是接在网关
接入位置只有两个选择,各自有明确取舍。
接在应用内部。 判定逻辑与业务代码同域,能看到完整的业务上下文——用户是谁、当前会话状态、上一轮做了什么。一条判定线对应一个具体动作,边界清晰。代价是配置分散,每个应用各写一套。
接在网关层。 判定模型作为一层基础设施,与大模型共用同一条请求通路。好处是配置只放一处,成本可以合并计算,所有流量统一过一遍。代价有两个:多一层转发,就多一层吞吐上限;而且它能判断什么,完全取决于请求里带了哪些业务信息——请求里没有的上下文,它看不见。
选择依据可以归纳成一条:判定的正确性依赖多少业务上下文? 依赖越少,越适合上移网关(如提示词注入拦截这类纯内容判断);依赖越多,越应该留在应用内(如"这封邮件该转给哪个组"这类需要客户等级、历史工单的判断)。
三、分层决策:查表、判定、生成三层职责
把判定模型放回整体架构,判断其实分三层:
- 规则层:规矩能写死的活,查表解决。成本接近零,可解释性最强。
- 判定层:需要挑挑拣拣、但不需要生成内容的活,交给判定模型。
- 生成层:真要产出文本或复杂工具编排的活,交给大模型。
三层之间的边界不是固定的。中间地带有多宽,取决于上下两层各自做到哪一步:规则覆盖得越细,判定层的价值越小;生成模型的成本越低,往上收的动机越弱。
一个重要判断标准:判定层解决的问题,必须是"看某个东西的一部分就够了"的问题。 它的成本是按"输入 + 少量输出"算的,判定范围一扩大就退化成"让大模型翻译一遍",那就失去了意义。这一点在检索重排场景里尤其明显——把二十条压到三条是有收益的,把二十条全读一遍再选就未必。
四、度量:校准、分桶与混淆代价
这一层是判定模型能否生产化的分水岭。
置信度不等于正确率。 模型返回的数值是它对自己所选答案的把握,两者之间隔着一层校准关系,必须用标注样本量出来。
标准做法是分桶校准:把输出按置信度分区间,统计每个区间的样本量和实际精度。得到的不是一条曲线,而是若干离散档位。每一档对应一个可用的业务决策:
- 样本量小、精度波动大的档位,不可用。
- 精度稳定达标的档位,可以作为自动放行区间。
- 精度不达标的档位,退化为人工或规则兜底。
混淆代价必须显式建模。 判定模型的错误有两种:误拦(该放的拦了)和漏放(该拦的放了)。两者的业务代价往往差一个量级。收件箱分流错归一类,一两天后能修正;工具门控放行一次删改操作,损失不可逆。
所以阈值不能是全局唯一的。应该按动作的可逆性分别设线:可逆动作的线可以放松,不可逆动作应当直接排除自动放行,不做阈值判定。
公开评测里有一组可参考的数据形态:某数据集整体首选命中率约 0.558,把门槛提到 0.8 后可自动处理约 34% 的样本,该批精度约 0.92。这组数说明的是同一个结论——阈值决定的是"用多少自动化换多少可靠性",是一个显式的业务权衡,不是模型参数。
五、治理:阈值是一份需要版本化的配置
判定模型的配置本质上是一份策略资产,必须像代码一样管理。
治理要覆盖四项:
- 阈值与模型版本绑定。模型升级会导致置信度分布整体漂移。有公开实验显示,同一批题仅改变选项顺序,准确率就从约 72% 降到约 21%。版本一换,历史阈值立即失效,必须重新校准。
- 选项设计要显式包含兜底项。模型不会主动说"我不知道"。要它转人工,就得把"转人工"写进选项,并在提示词中约束低置信度时优先选择。
- 白名单先于阈值。不可逆操作的白名单判断必须放在置信度判断之前,否则高置信度的错误放行无法拦截。
- 判定结果的埋点。记录每次判定的输入摘要、所选选项、置信度、最终业务结果。没有这份数据,后续既无法校准,也无法定位误判。
第三项要特别强调:置信度高不代表操作安全。模型判断的是"这个调用看起来是否常规",不是"这个操作是否可撤销"。这两件事必须由两套机制分别保证。
六、经济性:省下的一步与新增的一道
判定模型不是免费的优化,它是一笔交易。计算时要三项对齐:
- 省下什么:省的是后面那一步——生成调用的输出 Token、工具调用的往返、人工复核的分钟数。
- 新增什么:多一次判定调用、多一层转发延迟、多一份配置与校准维护成本。
- 净收益:取决于该环节的分流比例。若判定后仍有 90% 的请求要继续走贵的那一步,省下的只有 10%。
所以上线前应先测一个数:在当前阈值下,能拦掉多少比例的后继调用。 这个比例太低,整件事就不成立。早期的正确做法是先小范围接入,拿到分流比例再决定是否铺开。
有一类场景要慎入:后台本就不贵的环节(如短文本格式化)。加判定只是多一道工序。
七、推进节奏
把上述内容压缩成一条可执行路径:
- 选一个离数据近、错误可回滚的场景。收件箱分类这类,比实时工具门控更适合作为第一个试点。
- 人工标注一批样本,建议不少于一百条,作为标准答案。
- 跑一遍并分桶,先确认置信度与正确率的关系可信,再看自动处理比例。
- 按动作可逆性分别设阈值,不可逆动作直接排除在自动放行之外。
- 配置入库,绑定模型版本,写清测量数据与复核日期。
- 观察误判与剩余人工量,先调阈值,仍不达标再考虑更换模型。
- 扩展时重新校准,不同数据子集(不同业务线、不同文件夹)的分布不同,阈值不能直接复用。
小结
判定模型的架构价值,来自三处:位置选对(挡在贵的那一步前面)、度量做实(分桶校准而非拍脑袋定值)、配置可治理(版本绑定与埋点齐全)。
它替代的是模糊地带的判断,不是业务规则,也不是生成能力。落地交付的产物不是场景清单,而是一组带版本号和测量数据的阈值。