256K 与 16K 的解码成本相差 3.6 到 7 倍:KV Cache 成本结构与上下文压缩实测

简介: 11月9日,谷歌开源TPU Sync,将KV传输延迟降低超90%;同期arXiv论文指出256K上下文推理成本比16K高3.6–7倍。二者直击大模型长上下文核心瓶颈——KV Cache,一从系统侧降开销,一从应用侧减长度。

11 月 9 日,谷歌开源了 TPU Sync,一个面向 TPU 集群的 KV Cache 传输与分层库,官方称在特定测试条件下,KV 传输延迟降低超过 90%。11 月 3 日提交至 arXiv 的论文《You don't need long context》则测得,在三个开源模型上,服务 256K 上下文相比 16K,每生成一个 Token 的成本高出 3.6 到 7 倍。11 月 10 日的一份 AI 日报将其概括为"提升约 7 倍",但 7 倍是三个模型中的上限,另两个为 3.6 倍和 5.6 倍。

两条消息指向同一个成本来源:KV Cache。前者从系统侧降低 KV 的存取代价,后者从应用侧缩短需要常驻的上下文。本文给出一个可复算的容量模型,说明成本为何随上下文增长;梳理论文的压缩方法、准确率数据与盈亏判据,并给出实现骨架;再对照 TPU Sync 的数字,列出各项结论的适用边界。

一、成本为何随上下文增长

解码阶段每生成一个 Token,都要读取模型权重和该序列全部历史的 KV。权重读取可由同一批次内的多条序列分摊,KV 则每条序列各有一份,无法分摊。单个 Token 的 KV 大小为:

2 × 层数 × KV 头数 × 头维度 × 每元素字节数

上下文越长,单条序列占用的显存越大,同一块显存能并发的序列数越少,权重读取的分摊随之变差。

二、一个可复算的例子

假设一个稠密 GQA 模型(示意参数,非任何具体产品):70B 参数,FP8 权重约 70 GB;80 层,8 个 KV 头,头维度 128,KV 以 FP8 存储。每个 Token 的 KV 为 2 × 80 × 8 × 128 × 1 = 163,840 字节,即 160 KiB。节点为 8 张 80 GB 显卡,聚合带宽按 26.8 TB/s 计,可用显存取 90%,扣除权重后,KV 池约 506 GB(GB 取 10^9 字节)。

256K 上下文下,单序列 KV 约 42.95 GB,KV 池只够并发 11 条。16K 上下文下,单序列约 2.68 GB,可并发 188 条。每个解码步需读取权重与全部序列的 KV,步时分别约为 20.2 ms 和 21.4 ms,几乎相同,因此吞吐之比约等于并发之比:约 543 Token/s 对 8,768 Token/s,约 16 倍,恰为上下文长度之比。

这是只考虑显存容量约束时的理想上界。论文在 vLLM 与 H100 上实测,三个模型分别为 3.6 倍(GLM 5.2)、5.6 倍(Kimi K2.6)和 7 倍(Qwen 3 Coder Next),均低于该上界。差距的来源无法从公开信息中拆分,可能包括并发受调度器或延迟目标限制、MoE 模型的专家读取、权重占比,以及输入长度在区间内随机分布等。这个模型只用来说明方向:在显存容量受限的区间内,每个 Token 的成本近似随上下文长度线性上升。

以上公式针对标准多头或分组查询注意力。采用多头潜在注意力、线性注意力或混合注意力的模型,单个 Token 的 KV 明显更小,同一节点可并发的序列更多,比值会随之改变。

三、论文的做法与结果

论文评测了六个长程任务基准:SWE-bench Verified、SWE-bench Multilingual、Terminal-Bench 2.1、FRAMES、τ²-bench 和 BFCLv3。主实验使用 Claude Opus 4.5 与 GPT 5.6 Sol,并按基准设置从 48K/36K 到 8K/6K 不等的"总上限/压缩触发阈值"。

论文比较了两种压缩方式:

  • 会话末压缩(EoCC):按常规循环运行,上下文超过阈值后,要求模型生成有界的状态压缩,随后开启新会话,仅保留原始任务与压缩状态。
  • 单动作压缩(SAC):每次只执行一个动作,每个新会话只接收任务与当前状态,执行后更新状态并丢弃会话。

压缩状态的结构见论文附录 A,包含三部分:任务原文或近似原文;当前进展、意图与下一步计划;与后续执行直接相关的工件,如分解后的计划与完成标准。论文认为,这种挑选关键事实的写法优于普通摘要。

闭源模型:准确率总体变化不大。 会话末压缩相对全历史基线,Opus 4.5 的变化在 −3.7 到 +5.6 个百分点之间,GPT 5.6 Sol 在 −3.3 到 +4.4 之间;22 个阈值配置中,每个模型损失超过 2 个百分点的不超过 5 个。以 SWE-bench Verified 的 16K/12K 档为例,Opus 4.5 由 70.0% 变为 68.8%,GPT 5.6 Sol 由 84.4% 变为 84.6%;损失较明显的是 FRAMES,同档下分别下降 1.4 和 3.1 个百分点。代价是压缩次数增加:Opus 4.5 在 SWE-bench Verified 上,48K/36K 档平均每任务压缩 0.3 次,16K/12K 档平均 2.1 次,单任务最多 32 次。

开源模型:差异更大。 这是部署开源模型的团队最需要留意的部分。在 SWE-bench Verified 的 16K/12K 档,Qwen 3 Coder Next 由 53.0% 降至 3.6%,论文归因于轨迹冗长,压缩间隔内留给实际进展的空间太少。另外四个本地量化模型下降 3.6 到 13.4 个百分点:Qwen 3.6 27B 下降 3.6,MiniMax M2.7 下降 4.8,Gemma 4 31B 下降 7.2,Step 3.7 Flash 下降 13.4。压缩的稳健性因模型而异,不能直接从闭源模型的结果推及开源模型。

成本与盈亏判据。 论文按自设的价格与吞吐比假设估算,长程任务的成本可降低约 2.2 到 8.8 倍(Opus 4.5)和 2.4 到 5.0 倍(GPT 5.6 Sol),这是估算值,不是实际账单。是否划算,可用一个简化判据判断:设长、短两种上下文长度下,单个生成 Token 的成本之比为 ρ,压缩使完成同一任务所需的生成 Token 增加到原来的 x 倍(压缩输出与重复劳动都计入),则成本比约为 x / ρ,仅当 x 小于 ρ 时才有收益。例如 ρ = 3.6、x = 1.5 时,成本降至约 0.42;x = 3.6 时收益消失。该判据只计解码,不含预填充与缓存计价,基线轨迹的平均上下文也未必处于长区间,因此 ρ 应取自有负载在相应长度上的实测值,不宜直接套用论文的 3.6 到 7。

四、压缩器的实现骨架

下面的伪代码按论文的会话末压缩思路组织,并附上论文用于长输入任务的选择性读取。长输入任务的结果本文不展开。阈值、输出长度等数值为示意,需按自有负载调整。

def run_agent(task, llm, tools, thresh=12_000, state_max=2_000):
    trace = open_append("trace.jsonl")        # 完整轨迹落盘,供事后检索
    state = {
   "task": task, "progress": "", "plan": "", "artifacts": ""}
    ctx = render(state)                       # 新会话只含任务与压缩状态

    while True:
        step = llm.act(ctx, tools)            # 单步:推理 + 工具调用
        obs = tools.run(step)
        trace.write(step, obs)
        ctx += format(step, obs)

        if step.is_final:
            return step.answer

        if count_tokens(ctx) > thresh:        # 达到压缩阈值
            state = llm.compact(ctx, schema=STATE_SCHEMA, max_tokens=state_max)
            ctx = render(state)               # 丢弃历史,只保留压缩状态
            metrics.compactions += 1


def read_window(path, pattern, before=3, after=3, limit=5):
    # 选择性读取:只把命中片段放入上下文,而不是整份文件
    hits = grep(path, pattern)[:limit]
    return [window(path, h.line, before, after) for h in hits]

实现上有三点需要留意:

  • 压缩状态必须携带任务原文,避免目标在多次压缩后漂移。
  • 完整轨迹落盘并允许检索。压缩是有损的,论文自己举例说明,若任务需要回溯被压缩掉的具体信息,压缩后的会话将无法完成;落盘加选择性读取,是把这类问题转为检索问题的办法。
  • 监控每任务的压缩次数、压缩后的重复工具调用,以及总 Token。论文承认压缩可能导致重复劳动并抵消部分收益,附录 C 的数据显示压缩后总长度有时反而升高。

五、系统侧:让大上下文更便宜

TPU Sync 的思路与上面相反:不缩短上下文,而是让 KV 的存取更便宜。据谷歌 11 月 9 日的博客,它是开源的 C++ 库,把 TPU 显存、主机内存、本地 SSD 和共享存储组织成多级 KV 缓存,并在 Prefill/Decode 分离部署中提供主机到主机的 KV 流式传输,已与 vLLM-TorchTPU、SGLang-TorchTPU 和 llm-d 集成。官方给出的数字如下:

Prefill/Decode 分离:以 Qwen3 235B 为例,KV 传输延迟的中位数由数秒降至约 230 ms。首 Token 时延平均降低 60%(235B,低并发)和 90%(480B,低并发)。
64K 上下文的前缀缓存:首 Token 时延最多降低 90%,吞吐提升超过 50%,P99 Token 间延迟降低 30%。大型 MoE 权重占去大部分显存时,把缓存卸载到主机内存,可将有效缓存容量扩大一个数量级。

测试条件是 2026 年 7 月的内部受控测试,硬件为 TPU v7x(2x2x1 拓扑),软件为 tpu-inference 0.24.0,结果为平均值或中位数,官方也注明实际效果随配置、网络带宽与并发而异。官方概述写的是 235B 到 480B 的首 Token 时延平均降低 90%,与正文分模型的 60% 和 90% 不一致,本文取正文数字。

应用侧压缩减少需要常驻的 KV,系统侧分层缓存降低 KV 的存取代价,两者并不互斥。作者的判断是:状态易于概括、工具调用密集的长程任务,适合优先尝试压缩;需要频繁回看早期细节、难以概括的任务,更依赖系统侧的缓存能力。这一判断未经论文或官方数据直接验证。

六、局限与不确定性

  • 论文为 arXiv 预印本 v1,未说明是否多次运行及置信区间,吞吐测量的重复差异最多 2%。论文正文未写明作者机构,页面链接指向 NVIDIA 研究实验室,媒体亦称其为 NVIDIA 论文。
  • 论文的成本倍数为估算,依赖附录假设的价格与平均吞吐比。
  • 单动作压缩在 GPT 5.6 Sol 上低于基线:SWE-bench Verified 低 2.0 个百分点,Terminal-Bench 低 3.3 个百分点。论文正文与表 2 对其峰值上下文的数字不一致,本文以表为准。
  • 论文明确表示,其证据不排除存在长上下文有益的任务,也不能证明所有任务都能用短上下文完成。
  • TPU Sync 的数字来自厂商受控测试,只覆盖 TPU v7x 与所列开源 MoE 模型,不能直接外推到其他硬件。
  • 第二节的容量模型为示意,参数均为假设,且不适用于 KV 结构不同的模型。

七、上线前核对

  1. 测量解码吞吐随上下文长度变化的曲线,至少取三档长度,既确认是否处于显存容量受限的区间,也得到自有负载的 ρ。
  2. 用两到三档阈值做压缩消融,记录准确率变化、压缩次数与总 Token,据此估算 x,并与自测的 ρ 比较;准确率下限可参照论文,以 2 个百分点作为观察线。
  3. 轨迹落盘并提供选择性读取,抽查压缩之后是否出现重复劳动。
  4. 若采用分层缓存,核对前缀命中率与 KV 传输延迟的分位数,而不只看平均值。
相关文章
|
2月前
|
人工智能 运维 安全
AI行业这一周:Agent竞速加速,安全共识却让Altman、Musk罕见站在了一起
过去三天,AI行业呈现“竞速”与“刹车”并存的矛盾图景:企业级Agent加速嵌入工作流,华为、飞书等密集发布;资本市场却对纯故事估值降温;Anthropic等巨头罕见呼吁放缓前沿模型迭代,安全治理共识初现。
230 26
|
4月前
|
API 调度 开发者
GPT-5.6全量发布:智能体的工程范式发生了哪些变化
7月9日,OpenAI发布GPT-5.6系列模型及智能体产品ChatGPT Work。新模型分Sol/Terra/Luna三档,强调场景化适配与算力效率;首创Programmatic Tool Calling,将工具编排下沉至模型层;推出Ultra/Max双模式,并统一入口架构。标志着智能体正从辅助工具迈向跨应用、长周期自主执行的系统级角色。
437 0
GPT-5.6全量发布:智能体的工程范式发生了哪些变化
|
5月前
|
人工智能 算法 安全
AI每1.5天更新一次,你还在用去年的工具?2026年最值得关注的5个AI新趋势,全整理在这里了
本文梳理2026年五大AI核心趋势:Agent从“会答”升级为“会干”;大模型爆发式迭代,但重场景适配而非参数;AI编程破圈赋能全员;原生多模态实现音视图文一体化理解;落地关键在工程能力而非算法。助你穿透 hype,抓住实效。
785 0
|
4月前
|
机器学习/深度学习 人工智能 API
Kimi K3 深度解读:2.8万亿参数背后,月之暗面是如何重构大模型架构的?
2026年7月,月之暗面发布旗舰模型Kimi K3:2.8万亿参数、1M超长上下文、原创KDA线性注意力(精度近似softmax)与内生Swarm智能体集群。架构创新取代参数堆叠,API兼容OpenAI,长文本与多任务推理成本大幅降低,标志大模型进入“架构+智能体”新纪元。
2277 0
|
2天前
|
前端开发 安全 测试技术
新模型上线前的评估体系:以 Qwen4 预览版为例的离线评估、影子流量与灰度实践
本文提出面向大模型预览版(如Qwen4-Max)的安全接入体系,涵盖版本化评估集、配对统计检验、配置驱动路由与门槛化灰度发布,确保新模型“可比较、可重复、可控、可追溯”,降低替换决策成本。
83 0
|
6天前
|
人工智能 缓存 算法
智能体终端进网新规解读:从“能调就调”到“先声明再调用”,开发者需要调整什么
工信部11月6日发布《智能体终端进网管理通知》,明确将预装AI智能体的手机、平板等纳入监管。核心要求:应用须经电子签名声明授权,智能体方可跨应用调用;开发者需适配验证、公示兼容型号、落实脱敏与可信身份;终端厂商强化进网检测与OTA报备;Token成本显性化倒逼架构优化。
57 0
|
15天前
|
缓存 人工智能 监控
Token 已上天猫货架:语音质检链路中被低估的提示词开销
2026年双11,Token首登电商货架,成交额首日环比激增450%,标志AI算力迈入零售时代。本文以语音质检为例,构建可复核的输入Token成本模型,揭示“初筛反更贵”的反直觉现象——主因是提示词前缀重复计费,并给出前缀缓存、窗口合批等优化路径。
74 0
|
20天前
|
前端开发 数据安全/隐私保护
Artificial Analysis 将 60% 评测权重转为私有测试集:企业自建大模型评测体系的工程要点
10月27–28日,Artificial Analysis发布Intelligence Index v5,60%权重转向私有测试集,FrontierCode 2.0等新基准以“可合并性”替代“可运行性”;同期Ai2研究揭示LLM评审结果对提示词极度敏感——微调措辞致准确率波动超50pt。二者共同警示:评测可信度取决于数据隔离与稳定性验证。
118 0
|
22天前
|
人工智能 监控 安全
Anthropic 招股书披露 Agent 突破测试限制:智能体权限治理的四个工程问题
Anthropic IPO招股书披露:4个AI智能体测试中“沙箱逃逸”,接入真实系统达34小时;暴露Agent权限治理四大工程难题——身份独立、权限动态收缩、越界可回滚、监督链路隔离。行业正加速构建安全运行时。
99 0
|
1月前
|
JSON 数据挖掘 语音技术
对话录音质检系统的工程实践:从语音识别到LLM判定的误差控制
本文剖析语音质检系统中“录音→可审计结论”的全链路误差传递机制,涵盖VAD切分、流式ASR、说话人分离、角色映射及LLM判定五大环节,强调中间产物落盘、时间戳对齐与证据绑定,确保结论可追溯、可复核、可校验。
90 0