11 月 9 日,谷歌开源了 TPU Sync,一个面向 TPU 集群的 KV Cache 传输与分层库,官方称在特定测试条件下,KV 传输延迟降低超过 90%。11 月 3 日提交至 arXiv 的论文《You don't need long context》则测得,在三个开源模型上,服务 256K 上下文相比 16K,每生成一个 Token 的成本高出 3.6 到 7 倍。11 月 10 日的一份 AI 日报将其概括为"提升约 7 倍",但 7 倍是三个模型中的上限,另两个为 3.6 倍和 5.6 倍。
两条消息指向同一个成本来源:KV Cache。前者从系统侧降低 KV 的存取代价,后者从应用侧缩短需要常驻的上下文。本文给出一个可复算的容量模型,说明成本为何随上下文增长;梳理论文的压缩方法、准确率数据与盈亏判据,并给出实现骨架;再对照 TPU Sync 的数字,列出各项结论的适用边界。
一、成本为何随上下文增长
解码阶段每生成一个 Token,都要读取模型权重和该序列全部历史的 KV。权重读取可由同一批次内的多条序列分摊,KV 则每条序列各有一份,无法分摊。单个 Token 的 KV 大小为:
2 × 层数 × KV 头数 × 头维度 × 每元素字节数
上下文越长,单条序列占用的显存越大,同一块显存能并发的序列数越少,权重读取的分摊随之变差。
二、一个可复算的例子
假设一个稠密 GQA 模型(示意参数,非任何具体产品):70B 参数,FP8 权重约 70 GB;80 层,8 个 KV 头,头维度 128,KV 以 FP8 存储。每个 Token 的 KV 为 2 × 80 × 8 × 128 × 1 = 163,840 字节,即 160 KiB。节点为 8 张 80 GB 显卡,聚合带宽按 26.8 TB/s 计,可用显存取 90%,扣除权重后,KV 池约 506 GB(GB 取 10^9 字节)。
256K 上下文下,单序列 KV 约 42.95 GB,KV 池只够并发 11 条。16K 上下文下,单序列约 2.68 GB,可并发 188 条。每个解码步需读取权重与全部序列的 KV,步时分别约为 20.2 ms 和 21.4 ms,几乎相同,因此吞吐之比约等于并发之比:约 543 Token/s 对 8,768 Token/s,约 16 倍,恰为上下文长度之比。
这是只考虑显存容量约束时的理想上界。论文在 vLLM 与 H100 上实测,三个模型分别为 3.6 倍(GLM 5.2)、5.6 倍(Kimi K2.6)和 7 倍(Qwen 3 Coder Next),均低于该上界。差距的来源无法从公开信息中拆分,可能包括并发受调度器或延迟目标限制、MoE 模型的专家读取、权重占比,以及输入长度在区间内随机分布等。这个模型只用来说明方向:在显存容量受限的区间内,每个 Token 的成本近似随上下文长度线性上升。
以上公式针对标准多头或分组查询注意力。采用多头潜在注意力、线性注意力或混合注意力的模型,单个 Token 的 KV 明显更小,同一节点可并发的序列更多,比值会随之改变。
三、论文的做法与结果
论文评测了六个长程任务基准:SWE-bench Verified、SWE-bench Multilingual、Terminal-Bench 2.1、FRAMES、τ²-bench 和 BFCLv3。主实验使用 Claude Opus 4.5 与 GPT 5.6 Sol,并按基准设置从 48K/36K 到 8K/6K 不等的"总上限/压缩触发阈值"。
论文比较了两种压缩方式:
- 会话末压缩(EoCC):按常规循环运行,上下文超过阈值后,要求模型生成有界的状态压缩,随后开启新会话,仅保留原始任务与压缩状态。
- 单动作压缩(SAC):每次只执行一个动作,每个新会话只接收任务与当前状态,执行后更新状态并丢弃会话。
压缩状态的结构见论文附录 A,包含三部分:任务原文或近似原文;当前进展、意图与下一步计划;与后续执行直接相关的工件,如分解后的计划与完成标准。论文认为,这种挑选关键事实的写法优于普通摘要。
闭源模型:准确率总体变化不大。 会话末压缩相对全历史基线,Opus 4.5 的变化在 −3.7 到 +5.6 个百分点之间,GPT 5.6 Sol 在 −3.3 到 +4.4 之间;22 个阈值配置中,每个模型损失超过 2 个百分点的不超过 5 个。以 SWE-bench Verified 的 16K/12K 档为例,Opus 4.5 由 70.0% 变为 68.8%,GPT 5.6 Sol 由 84.4% 变为 84.6%;损失较明显的是 FRAMES,同档下分别下降 1.4 和 3.1 个百分点。代价是压缩次数增加:Opus 4.5 在 SWE-bench Verified 上,48K/36K 档平均每任务压缩 0.3 次,16K/12K 档平均 2.1 次,单任务最多 32 次。
开源模型:差异更大。 这是部署开源模型的团队最需要留意的部分。在 SWE-bench Verified 的 16K/12K 档,Qwen 3 Coder Next 由 53.0% 降至 3.6%,论文归因于轨迹冗长,压缩间隔内留给实际进展的空间太少。另外四个本地量化模型下降 3.6 到 13.4 个百分点:Qwen 3.6 27B 下降 3.6,MiniMax M2.7 下降 4.8,Gemma 4 31B 下降 7.2,Step 3.7 Flash 下降 13.4。压缩的稳健性因模型而异,不能直接从闭源模型的结果推及开源模型。
成本与盈亏判据。 论文按自设的价格与吞吐比假设估算,长程任务的成本可降低约 2.2 到 8.8 倍(Opus 4.5)和 2.4 到 5.0 倍(GPT 5.6 Sol),这是估算值,不是实际账单。是否划算,可用一个简化判据判断:设长、短两种上下文长度下,单个生成 Token 的成本之比为 ρ,压缩使完成同一任务所需的生成 Token 增加到原来的 x 倍(压缩输出与重复劳动都计入),则成本比约为 x / ρ,仅当 x 小于 ρ 时才有收益。例如 ρ = 3.6、x = 1.5 时,成本降至约 0.42;x = 3.6 时收益消失。该判据只计解码,不含预填充与缓存计价,基线轨迹的平均上下文也未必处于长区间,因此 ρ 应取自有负载在相应长度上的实测值,不宜直接套用论文的 3.6 到 7。
四、压缩器的实现骨架
下面的伪代码按论文的会话末压缩思路组织,并附上论文用于长输入任务的选择性读取。长输入任务的结果本文不展开。阈值、输出长度等数值为示意,需按自有负载调整。
def run_agent(task, llm, tools, thresh=12_000, state_max=2_000):
trace = open_append("trace.jsonl") # 完整轨迹落盘,供事后检索
state = {
"task": task, "progress": "", "plan": "", "artifacts": ""}
ctx = render(state) # 新会话只含任务与压缩状态
while True:
step = llm.act(ctx, tools) # 单步:推理 + 工具调用
obs = tools.run(step)
trace.write(step, obs)
ctx += format(step, obs)
if step.is_final:
return step.answer
if count_tokens(ctx) > thresh: # 达到压缩阈值
state = llm.compact(ctx, schema=STATE_SCHEMA, max_tokens=state_max)
ctx = render(state) # 丢弃历史,只保留压缩状态
metrics.compactions += 1
def read_window(path, pattern, before=3, after=3, limit=5):
# 选择性读取:只把命中片段放入上下文,而不是整份文件
hits = grep(path, pattern)[:limit]
return [window(path, h.line, before, after) for h in hits]
实现上有三点需要留意:
- 压缩状态必须携带任务原文,避免目标在多次压缩后漂移。
- 完整轨迹落盘并允许检索。压缩是有损的,论文自己举例说明,若任务需要回溯被压缩掉的具体信息,压缩后的会话将无法完成;落盘加选择性读取,是把这类问题转为检索问题的办法。
- 监控每任务的压缩次数、压缩后的重复工具调用,以及总 Token。论文承认压缩可能导致重复劳动并抵消部分收益,附录 C 的数据显示压缩后总长度有时反而升高。
五、系统侧:让大上下文更便宜
TPU Sync 的思路与上面相反:不缩短上下文,而是让 KV 的存取更便宜。据谷歌 11 月 9 日的博客,它是开源的 C++ 库,把 TPU 显存、主机内存、本地 SSD 和共享存储组织成多级 KV 缓存,并在 Prefill/Decode 分离部署中提供主机到主机的 KV 流式传输,已与 vLLM-TorchTPU、SGLang-TorchTPU 和 llm-d 集成。官方给出的数字如下:
Prefill/Decode 分离:以 Qwen3 235B 为例,KV 传输延迟的中位数由数秒降至约 230 ms。首 Token 时延平均降低 60%(235B,低并发)和 90%(480B,低并发)。
64K 上下文的前缀缓存:首 Token 时延最多降低 90%,吞吐提升超过 50%,P99 Token 间延迟降低 30%。大型 MoE 权重占去大部分显存时,把缓存卸载到主机内存,可将有效缓存容量扩大一个数量级。
测试条件是 2026 年 7 月的内部受控测试,硬件为 TPU v7x(2x2x1 拓扑),软件为 tpu-inference 0.24.0,结果为平均值或中位数,官方也注明实际效果随配置、网络带宽与并发而异。官方概述写的是 235B 到 480B 的首 Token 时延平均降低 90%,与正文分模型的 60% 和 90% 不一致,本文取正文数字。
应用侧压缩减少需要常驻的 KV,系统侧分层缓存降低 KV 的存取代价,两者并不互斥。作者的判断是:状态易于概括、工具调用密集的长程任务,适合优先尝试压缩;需要频繁回看早期细节、难以概括的任务,更依赖系统侧的缓存能力。这一判断未经论文或官方数据直接验证。
六、局限与不确定性
- 论文为 arXiv 预印本 v1,未说明是否多次运行及置信区间,吞吐测量的重复差异最多 2%。论文正文未写明作者机构,页面链接指向 NVIDIA 研究实验室,媒体亦称其为 NVIDIA 论文。
- 论文的成本倍数为估算,依赖附录假设的价格与平均吞吐比。
- 单动作压缩在 GPT 5.6 Sol 上低于基线:SWE-bench Verified 低 2.0 个百分点,Terminal-Bench 低 3.3 个百分点。论文正文与表 2 对其峰值上下文的数字不一致,本文以表为准。
- 论文明确表示,其证据不排除存在长上下文有益的任务,也不能证明所有任务都能用短上下文完成。
- TPU Sync 的数字来自厂商受控测试,只覆盖 TPU v7x 与所列开源 MoE 模型,不能直接外推到其他硬件。
- 第二节的容量模型为示意,参数均为假设,且不适用于 KV 结构不同的模型。
七、上线前核对
- 测量解码吞吐随上下文长度变化的曲线,至少取三档长度,既确认是否处于显存容量受限的区间,也得到自有负载的 ρ。
- 用两到三档阈值做压缩消融,记录准确率变化、压缩次数与总 Token,据此估算 x,并与自测的 ρ 比较;准确率下限可参照论文,以 2 个百分点作为观察线。
- 轨迹落盘并提供选择性读取,抽查压缩之后是否出现重复劳动。
- 若采用分层缓存,核对前缀命中率与 KV 传输延迟的分位数,而不只看平均值。