缓存

首页 标签 缓存
# 缓存 #
关注
67313内容
|
1小时前
|
你的大模型 API 账单能打折:前缀缓存,我用一次踩坑换来的
Agent 每轮都要把全部历史重发给大模型,费用照付;但服务商对逐字节一致的前缀有缓存折扣,输入价最低一折。本文讲清前缀缓存的命中规则、四种"毒死缓存"的常见写法,并附我开源项目 codeAgent 的三段真实源码:临时消息走便签通道不进正式历史、_timestamp 等记账字段发送前统一剥离、system prompt 只构建一次。零依赖零成本,长会话能省数倍 token 费用,附完整代码。
|
3小时前
|
引用回复为什么不能只存一段文字?消息标识、上下文与失效引用
本文探讨聊天系统中“引用回复”的本质设计问题:如何确保回复**准确指向原消息**(而非靠内容或位置)、**当前可展示什么**(区分加载/权限/删除状态)、**点击后能否可靠定位**(需独立于分页与缓存)。强调用`(会话ID, 消息ID)`稳定标识,分离关系、展示、定位三重契约,避免摘要误导与位置漂移。(239字)
|
7小时前
|
长期运行要盯住的日志、状态清理与署名义务
本文详解 billion-context 在 ECS 长期部署的运维要点:日志轮转(10MB 自动切换)、状态目录建议置于数据盘、会话清理需显式启用(默认关闭)、自动更新后需手动重启以避免 stale 状态,并强调 MIT 许可下的署名义务。附常见问题与长期运行清单。(239 字)
|
22小时前
|
半夜网站打不开?先别急着背锅,搞不好是 CC 攻击
凌晨被告警叫醒,网站打不开,先别急着背锅。这篇用一次真实的 CC 攻击处置过程,讲清怎么在 10 分钟内判断是不是攻击、怎么压住流量、以及事后该补哪些防护。附可复制的排查命令。
|
1天前
|
阿里云AI模型的Token如何计费?输入、输出及免费100 Tokens费用说明
2026年阿里云通义千问(Qwen)系列模型Token收费标准公布:按输入/输出分别计价,覆盖Qwen3-Max、Qwen3.5-Plus、Qwen-Long、Qwen3-Omni-Flash(多模态)、通义点金及全妙轻应用等。支持Batch调用5折、上下文缓存优惠及90天内免费额度(各100万Token起),精准报价以阿里云百炼官网为准。(239字)
阿里云百炼AI模型计费全解:按量付费、Token‑Plan、Coding‑Plan、节省计划四种方式指南
阿里云百炼AI模型提供四种计费方式:默认按量付费(Token计费)、Token Plan(订阅制,含个人/团队版)、Coding Plan(专为编程场景设计的月度请求包)及AI节省计划(承诺消费享最高5.3折)。开通即赠超7000万免费Tokens,助您低成本入门大模型应用。
|
1天前
|
JVM 类加载机制详解:双亲委派模型的原理、优势与三种打破方式
JVM 类加载机制到底怎么走?本文从生命周期七阶段讲起,把双亲委派模型的原理、优势与三种打破方式讲透,再补一张类初始化时机的主动 / 被动引用对照表。
|
1天前
|
JVM 内存结构入门:程序计数器、虚拟机栈、本地方法栈与堆的溢出诊断
JVM 内存结构里最基础的四块区域,报错却完全不同。从程序计数器、虚拟机栈、本地方法栈到堆,用示例代码复现栈溢出和堆溢出,附排查步骤。
|
1天前
|
JVM 垃圾回收全流程拆解:可达性分析、四种算法与五种收集器选型
JVM 垃圾回收到底管哪块内存?本文从可达性分析与四种引用讲起,拆解四大收集算法,对比五种收集器,并讲清 CMS 工作流程与内存泄漏排查思路。
|
1天前
|
ECS 上跑知识库的容量与性能实践
本文详解dsh-knowledge插件(v0.4.1,AGPL-3.0)在阿里云ECS上长期稳定运行的关键:容量规划(模型/分块/原始文件/内存四维估算)、模型权重落盘至数据盘、Token级分块参数调优、精准索引重建策略、后台异步下载语义及MinerU容错机制,兼顾备份与监控。
免费试用