Jack哈哈哈_个人页

2026年02月

• 02.08 15:18:02
  发表了文章 2026-02-08 15:18:02

  讨论下llm的prefix caching机制

  本文探讨LLM推理中Prefix Caching机制的原理与实践：解释为何将动态内容（如React循环中的tool call结果）放在system prompt会破坏缓存命中，导致成本激增；强调应将变量部分置于user prompt末尾，以最大化复用system+固定user前缀的KV缓存，显著降本提效