2026 年双 11，Token 首次作为独立品类登陆主流电商平台。11 月 2 日的报道称，天猫开售首日该品类成交额环比增长 450%，多家头部大模型厂商入驻（增幅基数未披露）。同期，财联社转述马斯克的表态：Grok Bot 的服务成本相对收入过高，无法做到不限量使用。10 月 31 日，中国电子信息产业发展研究院的报告显示，我国 AI 推理数据量首次超过训练数据量，截至今年 6 月，日均词元调用量超过 175 万亿，较 2024 年初增长一千多倍。
三条消息的共同点是，讨论的焦点都落在了推理侧的用量与成本上。对工程团队而言，问题随之变成：一条具体的推理链路，成本究竟由什么决定？
本文以语音质检（音频 → ASR → 说话人区分 → LLM 判定）为例，建立一个可复核的输入 Token 成本模型。在一组假设参数下，会得到一个反直觉的结果：规则初筛之后，对命中片段逐窗口调用 LLM，输入 Token 约为整段转写单次调用的 1.57 倍，即初筛反而更贵。原因是被忽略的提示词前缀。该结论不限于语音质检，凡是"固定规则提示词 + 多个短片段"的场景，如 RAG 分块判定、代码评审、日志研判，都适用同一套推导。下文依次给出推导、两种修正手段（前缀缓存与窗口合批）、分层路由的判据，以及初筛召回率的验证方法。
一、成本结构
链路分为四段：采集与切片、ASR、说话人区分、LLM 判定。前三段的成本随音频时长近似线性，可由时长直接估算；LLM 段按 Token 计费，用量取决于调用方式，设计空间较大。
关于 ASR 段，开源可选项已经较多，例如 Qwen3-ASR、Fun-ASR、GLM-ASR-Nano、Cohere Transcribe 等。以 1 月 29 日开源的 Qwen3-ASR 为例，其官方公布的指标是：0.6B 模型在 128 并发异步推理下吞吐可达 2000 倍，即 10 秒处理 5 小时以上的音频。若量级相当的指标在自有场景成立，ASR 段的算力占比将明显低于 LLM 段，优化重心应放在后者。无论选用哪个模型，官方指标都需以自有录音实测验证，尤其是噪声、口音与多人串话条件下的字错率。
二、基线模型
符号定义如下。
- T：单路每日全文转写的 Token 数
- P：规则提示词前缀的 Token 数
- C：单个命中窗口的上下文 Token 数
- n：每日命中窗口数
- α：缓存命中后前缀的计价系数（相对未命中输入价）
假设参数：有效对话 3 小时，语速 250 字/分钟，约 1.2 Token/字，得 T = 54,000；20 条规则合并后 P = 2,000（含输出格式约束），拆分后单条规则提示词约 100；窗口取命中位置前后各 3 句，C = 200；n = 40；α = 0.1。以上均为假设，非实测。仅统计输入 Token，输出 Token 未计入。
三、五种调用方式
以下五种调用方式，按上节假设参数计算每路每日的等效输入 Token：
- 方式 A，20 条规则逐条调用，每次带全文：20 × (100 + T) = 1,082,000
- 方式 B，规则合并，整段单次调用：P + T = 56,000
- 方式 C，初筛后逐窗口调用，无缓存：n × (P + C) = 88,000
- 方式 D，初筛后逐窗口调用，前缀缓存命中：(P + C) + (n − 1)(αP + C) = 17,800
- 方式 E，初筛后窗口合批为单次调用：P + n × C = 10,000
A 到 B 的差距约 19 倍，来自规则合并，这是常见的优化。值得注意的是 C：它比 B 高出约 57%。无缓存时，逐窗口调用仅在 n < (P + T) / (P + C) ≈ 25 时才优于整段单次调用；一旦窗口数超过该值，重复计费的提示词前缀就会抵消初筛带来的文本缩减。
规则合并与初筛是两个不同的杠杆：规则合并减少的是调用次数，初筛减少的是上下文长度，但同时把一次整段调用拆成了 n 次窗口调用，前缀被重复计费 n 次。要同时兼顾，需要让前缀不重复计费（D），或让多个窗口共用一次调用（E）。窗口数变化时的敏感性如下，方式 B 与 n 无关，恒为 56,000：
- n = 10：方式 C 为 22,000，方式 D 为 5,800，方式 E 为 4,000
- n = 25：方式 C 为 55,000，方式 D 为 11,800，方式 E 为 7,000
- n = 40：方式 C 为 88,000，方式 D 为 17,800，方式 E 为 10,000
- n = 80：方式 C 为 176,000，方式 D 为 33,800，方式 E 为 18,000
可以看到，方式 C 的成本随 n 线性增长，在 n = 25 附近越过方式 B；方式 D 与 E 在测算范围内始终低于方式 B，其中 E 的增长最缓。
选型取决于时延要求。需要实时告警的场景适合 D，时延低，且前缀缓存可复用；事后批量质检适合 E，总量较低，但需在提示词中为每个窗口标注独立编号，避免模型跨窗口串联信息。n 很小，或规则依赖全局上下文时，B 反而更简单。缓存折扣的适用条件（最小前缀长度、有效期等）因厂商而异，需按实际计价核对。
四、分层路由的判据
设小模型与大模型的单次成本比为 k，升级到大模型的比例为 r。小模型总是先运行，则分层相对于全部使用大模型的成本比为 k + r（假设两者输入长度相同）。仅当 k + r < 1 时分层才有收益。例如 k = 0.1、r = 0.3 时成本比为 0.4；r = 0.9 时成本比为 1.0，分层不再节省。因此需要持续监控升级比例 r，而不只是总调用量。
成本节省以召回为代价。系统召回近似等于初筛召回与模型召回的乘积（假设两者漏检相互独立）：0.95 × 0.90 = 0.855，若将初筛召回提升到 0.98，则为 0.882。初筛每损失一点召回，都会直接计入最终漏检。
五、初筛召回的验证
初筛的"未命中"集合中，违规比例 q 未知。可从中随机抽取 n_s 个窗口，由人工判定。若 n_s 个样本中违规为 0，则 q 的 95% 置信上界约为 3 / n_s（三分法则）。要确认 q < 1%，约需 300 个样本且零命中；要确认 q < 0.5%，约需 600 个。若抽到违规样本，应据此补充规则或调整阈值，并将其纳入评测集。抽样宜按业务类型、时段分层，避免集中于单一场景。
六、局限
- 参数均为假设，尤其是 n、P、C，需以自有数据代入；公式可直接复用。
- 成本模型不反映质量差异。B 方式把数万 Token 的整段转写一次送入模型，长上下文下的判定准确率需要单独评测；D 的计算假设首次调用之后前缀全部命中，实际命中率低于 100% 时，成本介于 C 与 D 之间。
- 输出 Token 未计入。多数厂商输出单价高于输入，结构化输出并限制长度仍有必要。
- 窗口化会丢失跨窗口上下文。涉及"前文承诺、后文说明"这类跨段规则时，窗口方式可能降低判定准确率，需要保留整段或摘要作为补充输入。
- 11 月 3 日一份 AI 技术日报提到，SGLang 的 HiCache 将缓存命中率由 30% 提升至 95%。这属于自部署推理引擎一侧的优化，与云 API 的前缀缓存计价不在同一层面。
上线前核对
统计真实的 n、P、C 分布，代入第三节公式，确认当前调用方式落在哪一档。
按第五节抽样回查未命中集合，得到初筛召回的置信区间。
在监控中同时记录升级比例 r 与每路每日有效输入 Token，而不只记录调用次数。
