大模型竞技场（Arena）的公开玩法大家熟悉了：匿名对垒、用户投票、 Elo 排名。这个机制解决的是「基准分数和真实体验脱节」的老问题。其实同样的思路完全可以搬进企业内部做模型选型——特别是现在模型迭代飞快、每次换模型都要重新评估的团队。这篇给一个轻量的内部竞技场方案，两周能搭起来。
为什么公开基准不够用
通用基准跑分有两个先天缺陷：语料不是你的业务语料（「你的」术语、格式要求、语气偏好它测不到），评测维度固定（你的场景可能只在乎 JSON 合规率，不在乎数学能力）。竞技场的价值在于用真实流量做盲测——评估的就是你的用户、你的任务、你的满意度标准。
内部竞技场的最小架构
三个组件：
- 流量镜像层：线上请求复制一份进入评测管道（注意脱敏），或者用离线的高频真实请求回放。样本量不用大——每候选模型 300~500 条请求就能出稳定信号。
- 双发对垒层：每条请求同时发给两个候选模型（新旧模型、或两个待选模型），响应匿名化后并排存储。
- 投票层：三种模式按人力选配——业务方盲投（每周花一小时，投几十对，质量很高）、规则自动判（格式合规、术语命中、长度约束这类硬指标自动打分）、抽样人工复判（对自动判分歧的样本人工仲裁）。
关键设计细节
- 配对要随机：同一请求 A/B 顺序随机呈现，位置偏差是真实存在的（投票者偏向前面的答案）。
- 区分「平局」：强制二选一会制造噪声，允许「差不多」选项，平局率高本身是重要信号（两个模型在你场景无差异，选便宜的）。
- 分层统计：按请求类型分层看胜率，总量上 A 赢 60% 可能是某一类任务拉偏——A 在长文本赢麻、短指令持平，换型收益取决于你的流量构成。
- 成本护栏：双发意味着双倍推理成本，评测期设每日上限，跑两周窗口足够。
从投票到决策
竞技场产出的是胜率矩阵，决策规则建议事先写死：新模型综合胜率 ≥55% 且无分层显著劣化 → 进入灰度；52%~55% → 观察一个迭代周期；<52% → 淘汰。把决策阈值前置，避免「数据出来后再争论怎么解读」——评测方法学之争应该在开始前结束。
一个真实收益
这套机制搭好后的隐性收益：模型供应商每次出新版，你的评估从「立项-跑分-汇报-决策」一个月流程，变成「挂上竞技场跑两周出胜率」。评估从项目变成流水线，这才是模型快速迭代时代的相持能力。
你们的模型选型现在怎么做？跑分党还是体感党，评论区聊聊。
