一、选题背景：同一周内的三个产业信号

本周（2026 年 8 月下旬）密集出现的三组公开信息，值得系统设计者注意。
信号一：推理成本首次成为财报单列项。 某头部云厂商最新一季财报首次将 AI 应用业务单独披露：该板块收入约 33 亿元，经调整 EBITA 亏损约 139 亿元，亏损同比扩大逾三倍。官方对亏损扩大的解释中，明确包含"C 端应用推理成本增加"。这意味着推理成本第一次从工程指标上升为财务指标，成为管理层与资本市场的显性议题。
信号二：同代模型的分层价差扩大至约 25 倍。 7 月底以来，多家头部厂商完成结构性调价：轻量档单价下调 80%（输入约 0.2 美元/百万 Token），旗舰档维持高位（输入约 5 美元/百万 Token），同代价差由此前的约 5 倍扩大至约 25 倍；8 月下旬，旗舰档输出价出现月内第二次下调，另有厂商以半价首发新模型。价格分层已从阶段性促销手段，演变为结构化的产品矩阵。
信号三：Agentic 负载的 Token 消耗量级被刷新。 某模型聚合平台近期上线的匿名模型，在 3 天内处理约 11.6 万亿 Token，主要流向长周期编码与智能体任务，刷新该平台历史纪录。Token 消耗的计数单位，正在从"十亿"变为"万亿"。
三个信号指向同一结论：推理成本已成为系统设计的显性约束，而供给端的价格分层恰好提供了对冲工具。对架构师而言，问题已经从"选哪个模型"，转变为"如何把每一个请求路由到正确的层级"。
本文以一个典型参照系统——可穿戴语音采集终端（录音工牌形态的端云协同系统）——为例，讨论模型分层路由的架构设计。文中的方法不依赖特定厂商与产品，适用于一切"高频轻任务与低频重任务混合"的端云智能系统。

二、问题界定：语音终端系统的负载异构性

该参照系统的标准处理链路如下：
端侧 VAD/降噪 → 流式 ASR → 说话人分离 → 文本后处理（清洗/分段/打标） → 摘要与待办抽取 → 跨会话检索与深度分析
各阶段的负载特征差异显著：

负载的异构性决定了两种极端方案均不成立：
全链路调用旗舰模型：在同代约 25 倍价差下，占比约八成的低复杂度子任务将消耗旗舰配额，单位经济无法成立；且流式阶段无法承受旗舰模型的排队与推理时延。
全链路降级轻量模型：纪要质量、长上下文检索与多步推理的准确性不可接受，属于以产品质量换成本，本末倒置。
结论：必须引入显式的路由层，按任务特征将请求分发到匹配的模型层级。

三、核心论点：路由层是一等架构组件

工程实践中最常见的做法，是把模型选择写成调用方代码里的条件分支。在三层甚至更多层的价格矩阵下，这种写法会迅速腐化：档位判断散落在各处、无法统一评估、无法随供给端调价而热更新。
本文的核心论点是：路由层应当作为系统的一等架构组件独立存在，集中承担四项职责：
任务分级：基于任务特征（而非调用方身份）判定复杂度档位；
预算约束：为每次调用附带成本与Token预算，超限即降级或拒绝；
级联升级：低层输出置信度不足时，自动升级到更高层级重跑；
度量回收：记录每一次路由决策及其结果，反哺策略迭代。
整体架构示意：

┌────────────────┐ 音频流 ┌───────────────────┐
│ 端侧：VAD/降噪 │ ────────▶ │ 流式 ASR（边缘/云）│
│ 唤醒/声纹粗判 │ └─────────┬─────────┘
└────────────────┘ │ 转写文本 + 元数据
▼
┌──────────────────────┐
│ 路由层 Router │
│ 特征提取 → 任务分级 │
│ 预算约束 → 级联升级 │
└──┬────────┬─────────┬┘
▼ ▼ ▼
L0 规则直发 L1 轻量档 L2 旗舰档
（清洗/分段） （摘要/抽取） （跨会话检索
/深度分析）
│ │ │
└────────┴─────────┘
▼
决策与结果度量回收
三个边界需要明确：
路由的作用域始于任务图分解之后、LLM 调用之前。ASR 之前的音频段处理（档位选择、语言识别、信道质量适配）由另一组独立规则决定，不进入 LLM 路由；
分级依据是任务特征，不是用户等级或套餐——后者是商业逻辑，混入路由层会污染技术决策的可解释性；
路由层对调用方透明：调用方提交任务与质量要求，不感知具体模型。
四、路由决策：特征体系与三级策略

4.1 特征体系

路由决策的质量上限，由特征体系决定。针对语音终端系统，有效的特征维度包括：

4.2 三级决策策略

L0：确定性规则。 对任务类型明确、复杂度可静态判定的流量（清洗、分段、格式化、标签提取），直接路由至轻量档。在典型语音终端负载中，规则可覆盖约六至七成流量。规则层的价值在于零推理开销、完全可解释，应始终作为第一级。
L1：轻量分类器。 对规则未覆盖的流量，使用小型分类模型基于特征向量预测复杂度档位。分类器本身的推理成本必须比所节省的档位价差低一个数量级以上，否则路由失去意义。
L2：级联升级。 轻量档输出的置信度低于阈值时，同一任务携带完整上下文升级到下一档重跑。这是质量下限的保障机制，升级率也由此成为衡量路由质量的核心指标——升级率过高说明分级过松，过低则需验证是否牺牲了质量。
参考伪代码：
TAU = {"summary": 0.85, "action_item": 0.90, "retrieval": 0.80} # 各任务置信度阈值
TIER_MAX = 2
MAX_ESCALATION = 1 # 同一任务最多升级一次，防止震荡

def route(task):
f = extract_features(task) # 时长/说话人数/领域命中率/任务类型/时效等级

rule = RULES.match(task.type, f)    # L0: 确定性规则优先
tier = rule.tier if rule else classifier.predict(f)  # L1: 轻量分类器

result = execute(task, tier, budget=BUDGET[tier])

if result.confidence < TAU[task.type] and tier < TIER_MAX \
   and task.escalations < MAX_ESCALATION:            # L2: 级联升级
    task.escalations += 1
    return escalate(task, tier + 1, carry_context=result.artifacts)

metrics.record(task, tier, result)  # 度量回收：档位、置信度、升级、成本
return result

几个工程细节值得强调：
置信度来源应是多信号融合：轻量模型自评分数、输出格式校验结果、关键字段缺失率，而非单一 logit 信号；
升级去重与幂等：同一任务限制升级次数，且重跑必须幂等，避免重复写入下游存储；
上下文完整传递：升级时须携带低层模型的中间产物（分段结果、初步标签），否则高层模型重复推理，反而推高总成本。

五、成本模型：把路由收益落到单位经济

语音终端系统的单位经济可以表述为"每小时音频的处理成本"：

C_hour = C_asr + Σ_k [ N_k × (T_in,k × P_in,k + T_out,k × P_out,k) ]
其中 C_asr 为每小时音频的转写成本，N_k 为该小时音频触发的第 k 类 LLM 任务次数，T_in/T_out 为输入输出 Token 量，P_in/P_out 为所路由档位的单价。
一个数量级测算（数字为示例假设，仅用于呈现量级关系）：设每小时音频转写约 1 万 Token；下游任务分解为清洗打标、摘要、待办抽取与按需检索四类；轻量档与旗舰档价差取 25:1。
无路由（全旗舰档）：LLM 阶段成本记为 25 个单位；
规则 + 级联路由：假设规则与分类器将约 85% 的 Token 量路由至轻量档，15% 进入旗舰档，另有约 8% 的轻量任务发生一次升级重跑。折算后 LLM 阶段成本约为旗舰方案的 1/6 至 1/8，而级联机制保证了质量下限不因降级而失守。
这一量级结论与公开市场信息一致：某企业支出平台近期开放的模型路由网关，宣称其客户平均降低推理成本约 40%；路由策略越精细，节省越显著，但边际收益递减——静态规则通常能以极低的工程成本获得大部分收益，动态分类器与学习型路由是利润增量，而非必需品。
与路由正交、可叠加的成本杠杆还包括：提示词缓存（系统提示稳定时收益最大）、批量 API（离线任务折价）、上下文裁剪（只向高层模型传递必要片段）。这些不在本文展开，但应在成本模型中统一记账。

六、质量保障与度量体系

路由层引入了一个新的失效模式：误判。其治理依赖三件事。
离线评估集。 按任务类型分层抽样历史请求，人工标注复杂度档位，定期评估路由准确率。注意误判成本的非对称性：把复杂任务误判为简单（质量受损、需返工）的代价，远高于把简单任务误判为复杂（多付一次高档差价）。因此分类器的校准方向应为"宁高勿低"，同时受预算约束——这是一个有约束的优化问题，而非单纯的准确率最大化。
影子模式。 任何路由策略变更（规则调整、分类器换代、阈值修改）先以影子模式运行：只做决策、不执行，对比新旧策略的决策分布与预估成本，确认无异常漂移后再切流。
在线核心指标。 建议至少跟踪四项：升级率（路由质量的反向指标）、单位小时成本（单位经济）、质量抽检分（人工或自动评估纪要/抽取质量）、误判成本分解（低档误判 × 重做成本 与 高档误判 × 浪费成本，分开核算）。这四个指标共同构成路由层的 Pareto 前沿，使"成本—质量"权衡可以被量化讨论，而非依赖体感。

七、边界与权衡

合规约束先于成本约束。 涉及敏感内容的音频如需本地化处理，隐私分级是硬性约束，路由层必须在合规边界内做成本优化，而非反之；
价格矩阵漂移。 供给端调价已进入"月级"节奏（本轮分层调价在一个月内已发生两次）。路由配置必须外置为可热更新的策略表，严禁硬编码进业务逻辑；
路由不是银弹。 当任务高度同质、或旗舰与轻量档质量差距收窄时，路由的复杂度可能超过其收益。是否引入动态路由，应由第五节成本模型实测决定。

八、结语

价格分层把"模型选型"这一静态决策，改造为"逐请求路由"这一在线决策。对语音终端这类高频轻任务与低频重任务深度混合的系统而言，路由层的成熟度将直接决定单位经济是否成立。
回看本周的三个信号：财报里的推理成本、25 倍的价差、万亿级的 Token 日耗——它们共同说明，行业的效率红利正在从"更大的模型"转向"更精确的调度"。对架构师而言，把路由层当作一等公民来设计，正当其时。