缓存穿透、击穿、雪崩:商协会系统里的三层防护怎么做

简介: 本文剖析商协会系统缓存三大典型故障——穿透、击穿、雪崩,结合实战案例详解成因与对策:空值缓存防穿透、互斥锁/逻辑过期防击穿、随机过期+预热防雪崩,并强调键设计规范与核心监控指标。240字

商协会系统里,会员详情、活动详情这类数据读多写少,上缓存是标准动作。但上了缓存不等于高枕无忧——我们线上出过三次问题,事后复盘发现都是同一类原因:缓存并没有坏,是用法让它失效了。

这篇把三类典型故障的成因和对策整理一遍。

第一类是穿透:查询一个根本不存在的键。

会员id 是数字自增的,有人用脚本循环请求不存在的 ID,缓存里查不到,每次都打到数据库上。缓存形同虚设,数据库连接池很快被打满。

对策有两层。第一层是空值缓存——数据库也查不到的时候,往缓存里写一个空标记,过期时间设短一点,比如一分钟到五分钟。这样同一个不存在的 ID 在短时间内不会反复穿透。

第二层是布隆过滤器。它的作用是前置判断"这个键是否存在",不存在的直接返回,连缓存都不查。特点是内存占用极小,但有误判率——它会把不存在的判成存在(不会漏判),所以放行之后的请求仍然要走缓存和数据库。这个特性决定了它是用来挡掉大部分无效请求的,不是用来做精确判断的。

需要注意的是,布隆过滤器要在数据写入时同步添加,删数据时它不支持删除。会员这类基本不删的数据很合适;如果是频繁增删的场景,要考虑计数布隆过滤器或者定期重建。

第二类是击穿:某个热点键过期的瞬间,大量请求同时涌进来。

典型场景是热门活动的详情页。这个键被高频访问,正好在某一刻过期,成百上千个请求同时发现缓存没了,一起去查数据库、一起重建缓存。数据库在这一瞬间承受的压力,跟完全没上缓存时差不多。

对策是重建过程加互斥。第一个发现缓存失效的请求拿到锁去查库重建,其他请求要么短暂等待后重试读缓存,要么直接返回兜底数据。

async function getActivity(id) {
   
  const key = `act:detail:${
     id}`;
  const cached = await redis.get(key);
  if (cached) return JSON.parse(cached);

  const lockKey = `lock:rebuild:${
     id}`;
  const token = randomUUID();
  const got = await redis.set(lockKey, token, 'PX', 3000, 'NX');

  if (got) {
   
    try {
   
      const data = await db.activity.findById(id);
      // 数据库也没有,写空值防穿透
      await redis.set(key, JSON.stringify(data ?? {
   }), 'EX', 300 + Math.floor(Math.random() * 120));
      return data;
    } finally {
   
      await redis.eval(
        `if redis.call('GET', KEYS[1]) == ARGV[1] then return redis.call('DEL', KEYS[1]) else return 0 end`,
        1, lockKey, token
      );
    }
  }

  // 没拿到锁:短暂等待后重读缓存,拿不到就返回兜底
  await sleep(50);
  const retry = await redis.get(key);
  return retry ? JSON.parse(retry) : null;
}

这里有个改进点值得提:更好的做法是逻辑过期,也就是缓存里存一个业务上的过期时间戳,物理上永不过期。请求发现逻辑时间到了,返回旧值的同时触发异步重建。这样用户完全感觉不到延迟,也不会有集火。上面的代码是物理过期的互斥重建版本,逻辑更直白,适合大多数场景。

第三类是雪崩:大批键在同一时刻集体过期。

常见于批量预热或者定时任务刷新的场景——一次性把几千个会员详情写进缓存,过期时间都设成一样的,到点全部失效,数据库瞬间被压垮。

对策很简单:过期时间加随机抖动。比如基础过期时间三百秒,再加上零到一百二十秒的随机值,让失效时间分散开。上面代码里的那串随机数就是干这个的。

再稳妥一点可以做多级缓存:本地缓存加分布式缓存,本地的过期时间更短,即使分布式缓存整批失效,本地还能扛一阵。代价是一致性变差,适合对实时性要求不高的展示类数据。

还有个前置动作是预热。活动开放报名这种可预知的热点,提前把数据刷进缓存,别等流量来了再建。预热的时候也要注意打散过期时间,否则预热本身就成了雪崩的源头。

三个方案之外,有两条基础规则比什么都重要。

一是缓存的键设计要能失效。会员详情用 member:detail:${id} 这类带 ID 的键,改了数据能精确定位删除;不要用列表查询条件拼出来的复杂键,改一条数据你不知道该删哪些键。

二是监控要盯三个指标:缓存命中率、数据库 QPS、缓存键的数量变化。命中率突然掉下来通常说明有穿透或者雪崩正在发生,数据库 QPS 尖峰往往对应击穿。这三个指标不做告警,等用户反馈就晚了。

我们这边在跑的商会管理系统叫未来漫城·商会互联平台,会员和活动详情走的就是空值缓存加互斥重建这套,过期时间带随机抖动,热门活动开放前会做一次预热。上线之后再没出现过缓存失效导致的数据库压力。

最后提醒一句:这些防护都是成本。会员量小、访问量低的商协会,单靠空值缓存加随机过期就够了,别一上来就上布隆过滤器和逻辑过期。先把监控做好,看数据再决定加哪一层。

相关文章
|
1月前
|
缓存 监控 API
会员查询接口被导出任务拖垮之后:网关 + Sentinel 的限流熔断实践
本文介绍“未来漫城·商会互联平台”会员查询接口因批量导出引发雪崩的故障复盘与三层防护实践:API网关限流(按来源隔离)、Sentinel熔断降级(慢调用比例触发)、热点参数限流(单orgId精准控制),辅以规则持久化、半开恢复、分级响应等实操要点,强调限流是防线而非优化替代。(239字)
|
存储 数据采集 传感器
一文多图搞懂KITTI数据集下载及解析
一文多图搞懂KITTI数据集下载及解析
17380 3
一文多图搞懂KITTI数据集下载及解析
|
1月前
|
SQL 运维 算法
订单表上亿行,我按用户ID拆成128片之后怎么样了
从单表几千万行慢查询的痛点出发,讲清垂直拆分与水平拆分的区别、分片键怎么选、分片算法(hash取模/range/一致性hash)怎么权衡,以及分库分表带来的分布式ID、跨片查询、分布式事务等问题,给出避免过度拆分的避坑清单。
|
1月前
|
缓存 人工智能 测试技术
Qwen3.8‑Flash多模态大模型全解析:MoE高效架构、百万上下文、Agent开发与API实操完整指南
在AI业务规模化落地的阶段,很多线上业务面临两难的现实困境:一方面线上服务需要高吞吐、低时延,能够支撑大量用户并发请求;另一方面又需要兼顾长文档解析、图文视频多模态理解、工具调用Agent等复杂能力。传统稠密大模型,想要获得强能力就要付出极高推理成本;轻量化小模型虽然速度快、价格低,但面对复杂逻辑、长文本、图表解析任务效果会明显下滑。
283 0
|
1月前
|
人工智能 IDE 数据挖掘
办公还是开发?千问办公QwenWork、Qoder CN、QoderTeams能力拆解与落地实战教程
随着AI智能体工具持续迭代,面向办公、研发的多款产品功能存在部分重叠,很多企业和个人使用者容易混淆千问办公(QwenWork)、Qoder CN、QoderTeams三款产品。不少用户误以为三款产品能力可以互相替代,甚至以为账号、积分资源可以互通,采购之后才发现产品能力与自身岗位业务不匹配,造成预算浪费。千问办公主打通用职场办公自动化;Qoder CN(原通义灵码)是面向开发者的AI编码智能体全家桶;QoderTeams并不是独立软件,而是Qoder CN体系下面向研发小组的企业团队订阅套餐。三者底层基座同源,但产品定位、目标人群、集成生态、计费体系、数据合规能力完全不同。本文完整拆解三款产品
272 2
|
2月前
|
人工智能 运维 IDE
AI原生IDE实战:新版Cursor对接百炼Coding Plan与Token Plan完整配置指南
随着AI技术深度融入软件工程领域,传统代码编辑器仅可以完成基础语法编辑与文件管理,难以胜任复杂项目重构、多文件联动开发、自动化调试、智能工程规划等高阶开发任务。市面上大量AI编程工具普遍存在模型选择单一、调用计费高昂、网络访问不稳定,无法深度嵌入IDE原有工作流等一系列痛点,阻碍开发者日常借助AI实现效率提升。新版Cursor AI编程IDE基于VS Code内核深度重构,并非简单叠加插件,而是从底层深度集成整套AI编程能力,既保留轻量化、高兼容、高度自定义的原有优势,又新增全局智能代码补全、多文件批量重构、Agent自主工程开发、长上下文项目理解、终端联动运维等高阶特性,已经成为广大开发者主
300 1
AI原生IDE实战:新版Cursor对接百炼Coding Plan与Token Plan完整配置指南
|
2月前
|
人工智能 监控 API
阿里云“领1亿+免费 Tokens”活动介绍:登录百炼平台即可享100万免费tokens,开启您的AI创想之旅
本文聚焦阿里云百炼面向新用户推出的普惠型AI权益活动,该活动以降低大模型体验门槛为核心,新用户开通服务后即可自动获得总规模至高1亿+的免费Tokens额度,覆盖通义千问3全系列、图像生成、文生视频等百余款平台官方模型,单款模型可领取100万免费Tokens。文章详细介绍了免费额度的覆盖范围、领取与使用全流程,同时配套说明“安心试用模式”、额度余量提醒、消费预警等防扣费保障机制,帮助开发者和中小团队零成本完成AI应用的前期开发与测试,避免意外产生付费调用费用。
|
2月前
|
缓存 监控 NoSQL
命中率98%跌至23%,17条告警齐发:Redis缓存三大故障复盘
从618促销缓存雪崩事故切入,深度解析缓存穿透、击穿、雪崩的底层机制、生产级防御方案与监控告警策略,附布隆过滤器实现和分布式锁代码
|
6月前
|
关系型数据库 应用服务中间件 nginx
Docker Compose实战指南
本文基于 Docker Compose V2(官方推荐),涵盖核心概念、YAML 配置详解、常用命令、四大实战案例及生产级最佳实践,助你从新手成长为能独立部署复杂多容器应用的专家。
1161 1
|
3月前
|
人工智能 监控 测试技术
银行业AI架构:从裸调API到六层技能体系
# 银行AI智能体架构实战:从单体到Skill协同的技术演进 ## 痛点:银行IT架构的三重困境 走在任何一家银行的科技部走廊里,你都能听到同样的叹息:系统又慢了、需求又排不上、监管又来查了。这不是某一家银行的困境,而是整个银行业IT架构的共性问题。我们把它拆解为三重困境。 **困境一:单体系