百炼上下文缓存实测:隐式与显式对跑 11 次调用,bl text chat 透传 cache_control 的命中判定与回本边界

简介: 《从零开始搭建知识库·EP07》实测对比隐式与显式缓存:隐式自动命中公共前缀,免配置、成本低(1.5元/M),适合千变万化的客服问答;显式需标记`cache_control`,创建贵(15元/M)、命中极省(1元/M),仅同一请求重复执行才回本。二者完全隔离、互斥,选型取决于负载形态。(239字)

从零开始搭建知识库 · EP07 · 范式篇(二)隐式缓存 vs 显式缓存

两种缓存在能力栈里的位置

「从零开始搭建知识库」系列第七期,范式篇第二期。EP06 落地的结论是:编译范式命中前缀缓存后每问省一半以上,约 6 问回本,但这笔账完全押在缓存命中上。本期把百炼的两条缓存通路在同一份资产上对跑:隐式缓存(服务端自动按公共前缀命中,无需配置)与显式缓存(调用方在 messages 里挂 cache_control 标记,主动创建)。

资产沿用 EP06:编译产物(7,929 token 的 prompt 前缀)、qwen3.8-max、同一句 system、同样四道问法。11 次付费调用,合计约 0.93 元,全部 usage 留痕在系列实验记录里。

两种缓存机制对比:隐式缓存自动匹配消息的公共前缀,无需配置,命中按每百万 1.5 元计费;显式缓存需要在知识库块上手动挂 cache_control 标记,创建按每百万 15 元计费,命中按 1 元计费

通道分工表:本期新增两行

需求 正确通道 说明
知识库建库 百炼控制台(网页) 含排序模型与 rewrite 开关
知识库检索(服务化) bl knowledge search --query <text> --agent-id <id> 走检索服务
智能体应用调用 bl app call --app-id <id> --prompt <text> Agent 自主检索
整库编译 / 全上下文提问 bl text chat --messages-file <file> EP06 已落:语料直接进上下文
显式缓存标记 --messages-file + content 数组挂 cache_control 本期实测:CLI 无专门缓存命令,结构化 messages 透传,usage 出现 ephemeral_5m_input_tokens 即创建成功
缓存命中与单价查询 bl model list --model qwen3.8-max 本期实测:No Auth,四档单价与计费类型名(含 TTL 5m)直接可读

CLI 没有专门的缓存命令(reference 文档 grep「cache」「缓存」零命中),但显式缓存靠的是 messages 里的结构标记,--messages-file 传什么结构发什么结构。显式组的写法:

[
 {
   "role": "system", "content": "你是暖屋家居的客服助手。"},
 {
   "role": "user", "content": [
   {
   "type": "text", "text": "(整份编译产物)\n\n---\n以上是公司知识库。",
    "cache_control": {
   "type": "ephemeral"}},
   {
   "type": "text", "text": "用户问题:报销发票怎么提交"}
 ]}
]

透传成功的判定标准:显式组 usage 必须出现 A 组从没见过的新字段。B0 实测返回 ephemeral_5m_input_tokens: 7923、cache_creation_input_tokens: 7923、cache_type: "ephemeral" 三个新字段,与价目表的计费类型名 input_token_cache_creation_5m 对上,7,923 个 token 走了显式创建。

四档单价:TTL 写在计费类型名里

bl model list --model qwen3.8-max 不需要鉴权,2026-09-04 现场拉价:

档位 单价 相对输入价
输入 12 元 / M 100%
输出 36 元 / M —
隐式命中 1.5 元 / M 12.5%
显式创建 15 元 / M 125%
显式命中 1 元 / M 8.33%

显式创建的计费类型名是 input_token_cache_creation_5m,TTL 5 分钟写在字段名里,与官方文档口径一致,本期 B3 实测也验证了这个时长。

六个实测发现

一、隐式缓存的存活边界。A 组四连测:隔两天缓存全没(7,929 token 全价结算,0.1075 元);20 秒内连问命中 7,168(0.0345 元);9 分 32 秒后再命中(0.0285 元);13 分 59 秒后再命中(0.0419 元),距首次命中累计 23 分半。隐式存活至少 14 分钟起步,两天必然失效,中间不透明。

二、挂标记即出隐式局。B0 距 A4 仅 31 秒,A4 刚隐式命中过,B0 的 cached_tokens 是 0。显式与隐式在同一次调用上互斥。

三、显式命中判定是完整请求一致,不是前缀。B0 创建后 12 秒换问题(B1)、15 秒换问题(B2),都是全额重新创建。9 秒对照实验:与 B0 逐字节相同但等 8 分 13 秒(超 TTL)重新创建(B3);与 B3 逐字节相同隔 9 秒重发命中(B4,0.0202 元,全期最便宜);与 B4 只差问题文本隔 9 秒发不命中(B5)。

命中判定对比:隐式缓存只要知识库前缀匹配就命中,无论问题怎么换;显式缓存只在完整请求逐字节一致时才命中,换了问题不命中,原样重发才命中

四、两条通道完全隔离。D1 在两次显式创建后 9 秒用隐式拼法提问,命中量 7,168(隐式口径),不是显式刚创建的 7,923。官方公告「隐式缓存与显式缓存对于同一次模型调用不共享」的数值版。显式实验跑完,隐式缓存毫发无伤。

两条平行账本被一堵标有互不共享的砖墙隔开:左边蓝色隐式账本 7168 token,右边橙色显式账本 7923 token,不带标记的请求走左边,带标记的请求走右边

五、隐式按 1,024 token 对齐。四次隐式命中量恒为 7,168 = 7 × 1,024,而 prompt 总长在 7,929 到 7,942 之间浮动。公共前缀里不满一块的尾部不入缓存,每次约 767 个 token 按全价结算。隐式等效输入单价 2.515 元每百万(标准价的 21%),名义 12.5% 只对入缓存的 token 成立。显式无此截断,创建量与命中量都是 7,923,覆盖 99.9%。

六、显式的回本边界。四种稳态:全价冷启动 12.00 元 / M(100%)、隐式稳态 2.515 元 / M(21.0%)、显式创建 15.00 元 / M(125%)、显式命中 1.008 元 / M(8.4%)。

四档输入侧成本柱状图:显式创建 15 元是最高的红色柱,全价 12 元是灰色柱,隐式稳态 2.5 元是较矮的蓝色柱,显式命中 1 元是最矮的绿色柱

知识库问答形态(一份前缀连问 5 个不同问题):隐式合计 0.1750 元,显式合计 0.5946 元,3.4 倍;单问稳态 5.96 倍。显式的甜区是同一份 messages 原样重复:3 次打平,5 次省 13.6%,10 次省 30.4%,极限省 60%。TTL 5 分钟内没有下一次命中,创建溢价全蒸发。

选型判据

负载形态 怎么放
客服问答:前缀固定,问题千变万化 隐式,什么都不用配
同题复现:评测集重跑、批量重试、多 Agent 并行同 prompt 显式标记,第 3 次回本
低频零散:一天问不了几次 哪种都救不了,考虑回检索范式
用隐式时想多命中 控制节奏,14 分钟内跟问有效

结论落在生态里就是一句话:百炼的显式缓存当前定位是「相同请求的重复执行加速」,不是「固定前缀的变化请求加速」。知识库问答这个最普遍的场景,隐式仍然是默认答案。

下期预告

范式篇还剩权限边界没碰:同一份库切两个权限视图,编译产物、检索 metadata 过滤、Agent 提示词三种放法各能守住什么。实验资产继续沿用系列同库。


本文实测基于百炼 CLI(bl),11 次调用的完整 usage、思考链与产物留痕于项目仓库。命令格式可能随版本更新调整,以官方文档为准。API Key 在控制台密钥管理页创建(新用户有免费额度)。

相关文章
|
1月前
|
缓存
TokenPlan的Credits怎么计费?1个Credits不等于固定Token数,Qwen3.6‑Plus计算示例解析
阿里云百炼Token Plan按Credits动态计费,1 Credits不等于固定Token数。消耗由模型类型(如qwen3.6-plus)、Token数量、思考模式、工具调用及缓存命中等共同决定。示例显示:8,349输入Token≈1.67 Credits,573输出Token≈0.69 Credits,合计约4 Credits。百万Tokens成本低至1.12元,较按量计费最高省44%。详情以官网为准。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
369 3
|
1月前
|
缓存 JSON 自然语言处理
从零开始搭建知识库 · EP06 · 范式篇(一)知识编译 vs 运行时检索
本文为「从零搭建知识库」第六期,对比检索式与编译式范式:前者实时切片检索,后者让模型通读全库生成结构化知识页。实测表明,编译范式能主动发现跨文档冲突、提升复杂问答一致性,并借助隐式前缀缓存显著降本(高频场景约6问回本),但牺牲元信息、不适用权限隔离与高频更新场景。(239字)
|
1月前
|
人工智能 运维 数据可视化
【新版】阿里云百炼大模型服务平台解读:核心产品功能介绍、配置价格表、模型矩阵、计费体系、API实操与选型配置完整指南
随着大模型技术落地走向规模化,开发者与企业对模型调用、模型微调、智能体构建、知识库问答的需求持续上涨,多模型管理、接口适配、成本管控成为开发过程中亟待解决的痛点。阿里云百炼作为一站式大模型开发与应用平台,整合自研千问全系模型以及多款第三方主流大模型,将模型推理、模型微调、应用编排、知识库、智能体编排、API网关、权限管控全部集成在同一平台内部,既可以满足普通开发者快速调用模型的需求,也能够支撑企业完成私有化微调、业务化智能应用开发,实现从模型能力到业务落地的全链路闭环。
503 1
|
1月前
|
人工智能 自然语言处理 测试技术
阿里云千问qwen3.8-max、qwen3.7-max、qwen3.8-flash、qwen3.7-flash热门大模型对比与选择参考
本文对比了2026年阿里云千问系列中开发者使用最广的四款热门模型,分别拆解其定位、核心能力、适用场景与价格差异,覆盖从旗舰全能到高性价比多模态的全梯度选择。文中给出清晰选型参考,同步新人单模型100万Token免费额度、夜间调用5折等最新优惠活动,帮助开发者结合业务需求与预算,选出适配的千问模型。
|
2月前
|
缓存 人工智能 数据挖掘
阿里云qwen3.8-max模型详解:模型能力、价格、上下文限制及使用注意事项参考
本文全面解析阿里云的Qwen3.8-Max旗舰大模型,这款采用2.4万亿参数MoE架构的通义千问系列最强模型,定位为智能体时代全能旗舰,在全球5个核心区域同步部署。它具备百万级超长上下文窗口,支持文本、图像、2小时内长视频的原生多模态输入,可独立完成跨天级软件工程交付、法律金融等专业领域生产级任务,同时实现数千轮交互下的长程任务自主规划与闭环迭代。文章同步梳理了不同区域的功能支持差异、梯度定价策略与API调用要点,明确了其适配复杂智能体应用的核心优势,新用户登录百炼平台即可领取百万Tokens免费试用额度。
阿里云qwen3.8-max模型详解:模型能力、价格、上下文限制及使用注意事项参考
|
1月前
|
Web App开发 监控 安全
医疗患者门户网络钓鱼攻击的威胁演化与防御研究
本文剖析2026年美多州爆发的MyChart患者门户钓鱼攻击事件,揭示其利用医疗信任、健康焦虑与品牌仿冒实施规模化社会工程攻击的本质。文章拆解技术链路,指出风险核心在于信任滥用而非系统漏洞,并构建涵盖技术防护、素养提升、行业协同与应急处置的分层防御框架。(239字)
99 0
医疗患者门户网络钓鱼攻击的威胁演化与防御研究
|
1月前
|
缓存 JavaScript 关系型数据库
用 Astro + Supabase 从零构建全网盘聚合搜索引擎:PGroonga 中文检索实战
本项目为零基础小白全程AI辅助完成的全栈开源网盘资源站,采用Astro(SSG+SSR混合)、Supabase+PGroonga中文全文检索(性能提升20–40倍)、多数据库适配(Supabase/Neon/Turso一键切换)及异步链接检测等技术,已上线。
236 1
|
1月前
|
人工智能 供应链 安全
看不见的“钓鱼线”:当攻击者开始“读心”,我们该如何自保?
2026年网络钓鱼已进化为AI驱动、全渠道渗透的精准攻击。迪妙网安以“技术为盾、人文为光”,融合艺术哲学与网络安全,提供企业实战演练、青少年启蒙及专业认证,培养具备怀疑精神与验证能力的数字守护者。(239字)
127 0
|
1月前
|
数据采集 人工智能 自然语言处理
AI 搜索引擎优化资料设置方法,提升大模型实体识别准确度
本文探讨AI搜索引擎优化(AISEO)新范式:区别于传统SEO,AISEO聚焦大模型实体识别,提出六大核心策略——统一实体词典、结构化排版、构建语义关系、多源信息对齐、规范元数据、定期校验迭代,助力企业提升AI问答中信息准确率与曝光稳定性。(239字)
115 0
|
1月前
|
人工智能 运维 API
阿里云百炼Token Plan深度解析:AI编程订阅服务功能、计费逻辑与保姆级实操教程
在AI开发与AI编程工作流持续迭代的当下,开发者经常会面临模型选型分散、多工具付费割裂、多套API密钥管理繁琐、团队用量难以管控等现实痛点。日常开发过程中,既要调用推理能力强的文本大模型,又要使用代码专项模型,部分业务还会涉及图像、视频生成能力,如果分别对接不同模型服务,需要维护多套密钥、记忆多个接口地址,不同服务各自计费,不仅管理成本高,预算也很难做到提前可控。阿里云百炼Token Plan作为面向开发者、编程从业者以及中小团队推出的AI订阅服务,核心就是通过Credits统一计量体系,将多款主流大模型整合到同一订阅体系之下,兼容大量AI编程工具与智能体应用,把文本推理、代码生成、多模态生成
224 0

热门文章

最新文章