游客j3ueaumpscbts_个人页

2025年12月

• 12.02 16:37:30
  发表了文章 2025-12-02 16:37:30

  短难误判率仅2%，新一代网关路由SHG，在P95不升前提下完胜RouteLLM。

  在和 RouteLLM 的两档式对比中 RouteLLM 将约百分之 69.3 的短难请求路由至轻量模型，而本文提出的网关系统将短难请求中落入轻档的比例压缩到约 2.4%，整体 P95 几乎不变。实验表明，短难请求构成了一类独立且在实践中高度相关的 LLM 路由稳健性问题，而针对性的、常数级开销的守护机制可以在不增加整体成本和尾部延迟的前提下，大幅缓解这一问题。