一文讲透Redis缓存穿透、缓存击穿与缓存雪崩

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 一文讲透Redis缓存穿透、缓存击穿与缓存雪崩

1. 三者之间的本质区别

  1. Redis缓存穿透:key对应的数据在缓存和数据库中都不存在;
  2. Redis缓存击穿:key对应的数据在缓存中不存在,在数据库中存在;
  3. Redis缓存雪崩:key对应的数据在数据库中存在,但在缓存中集中失效;


2. Redis缓存穿透

2.1. 问题描述

缓存穿透是指当用户在查询一条数据的时候,而此时数据库和缓存却没有关于这条数据的任何记录,而这条数据在缓存中没找到就会向数据库请求获取数据;

由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义;

如果有大量请求要查询的数据都并不存在,就会一直越过缓存去查询数据库,这样会对数据库的访问造成很大的压力;

如果有黑客大量发送key不存在的请求,比如id = -1,这些请求就会直接去查询数据库,可能导致数据库扛不住巨大的压力从而挂掉;


2.2. 解决方案

2.2.1. 缓存空对象

如果数据在MySQL数据库中不存在,就在Redis中把它缓存成一个空对象,返回给用户。(代码维护简单,但是效果不是很好)。

1.一个请求发送过来,如果此时缓存中和数据库都不存在这个请求所要查询的相关信息,那么数据库就会返回一个空对象,并将这个空对象和请求关联起来存到缓存中,当下次还是这个请求过来的时候,这时缓存就会命中,就直接从缓存中返回这个空对象,这样可以减少访问数据库的压力,提高当前数据库的访问性能。

2.如果大量不存在的请求过来,那么这时候缓存中会缓存许多空对象,如果时间一长,会导致缓存中存在大量空对象,这样不仅会占用许多的内存空间,还会浪费许多资源,如何解决?

3.可以将这些对象在一段时间之后进行清理, Redis 给我们提供了有关过期时间的命令,可以设置空对象的时候顺便设置一个过期时间,就可以解决个问题了;

2.2.2. 布隆过滤器

  1. 布隆过滤器它是一种基于概率的数据结构,主要判断当前某个元素是否在该集合中,运行速度快。
  2. 将所有可能存在的数据缓存放到布隆过滤器中,当黑客访问不存在的缓存时迅速返回避免缓存及DB挂掉。
  3. 当布隆过滤器说某个值存在时,这个值可能不存在;当它说不存在时,那就肯定不存在。
  4. 更多关于布隆过滤器的详细信息,请参考:一文读懂什么是布隆过滤器


2.2.3. 设置并发锁

防止请求大量请求数据库,如果获取到锁了,去数据库查询,如果没有获取到锁,说明有其他线程在查询数据库,那么只需要重试一下就好了;

2.2.4. 设置拦截器

对于不存在的key进行拦截;

3. Redis缓存击穿

3.1. 问题描述

造成缓存击穿的原因有两个:

  1. 一个“冷门”key,缓存中未存储,突然被大量用户请求访问。
  2. 一个“热门”key,缓存中存储了,但是在缓存中时间恰好过期,这时有大量用户来进行访问。

这样会导致大并发请求直接穿透缓存,请求数据库,瞬间对数据库的访问压力增大。


3.2. 解决方案

3.2.1. 加锁

对于key过期的时候,当key要查询数据库的时候加上一把锁,这时只能让第一个请求进行查询数据库,然后把从数据库中查询到的值存储到缓存中,对于剩下的相同的key,可以直接从缓存中获取即可。


单机环境下:直接使用常用的锁即可(如:Lock、Synchronized等);

分布式环境下:可以使用分布式锁,如:基于数据库、基于Redis或者zookeeper 的分布式锁。

3.2.2. 数据预热

预先设置热门数据,在Redis高峰访问时期,提前设置热门数据到缓存中,或适当延长缓存中key过期时间。

3.2.3. 实时调整

实时监控哪些数据热门,实时调整key过期时间。

3.2.4. 对于热点key设置永不过期

对于热点数据,设置永不过期。

4. Redis缓存雪崩

4.1. 问题描述

  1. 缓存雪崩是指在某一个时间段内,缓存集中过期失效,如果这个时间段内有大量请求,而查询数据量巨大,所有的请求都会达到存储层,存储层的调用量会暴增,引起数据库压力过大甚至宕机。
  2. 原因:
  1. Redis突然宕机;
  2. 大部分数据失效;
  1. 举例:购物狂欢节,假设商家举办 23:00-24:00 商品打骨折促销活动。如果在 23:00 把商品放到缓存中,并通过redis的expire设置过期时间为1小时,那么刚好到了24:00点的时候,还有许多用户在访问这些商品,这时候对这些商品的访问都会直接落到数据库上,如果数据库抗不住巨大的压力,就会导致数据库直接宕机。

4.2. 解决方案

4.2.1. Redis高可用

由于Redis有宕机的可能,所以多增加几台Redis实例,实现一主多从或者多主多从,这样即使一台Redis实例挂掉,其他的实例还可以继续工作,其实就是搭建了Redis集群。


4.2.2. 限流降级

在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量,对某个key只允许一个线程查询数据和写缓存,其他线程等待。

4.2.3. 设置不同的过期时间

设置不同的过期时间,让缓存失效的时间点尽量均匀。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
1月前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
【赵渝强老师】基于Redis的旁路缓存架构
|
19天前
|
缓存 NoSQL 数据库
缓存穿透、缓存击穿和缓存雪崩及其解决方案
在现代应用中,缓存是提升性能的关键技术之一。然而,缓存系统也可能遇到一系列问题,如缓存穿透、缓存击穿和缓存雪崩。这些问题可能导致数据库压力过大,甚至系统崩溃。本文将探讨这些问题及其解决方案。
|
1月前
|
缓存 NoSQL Redis
Redis 缓存使用的实践
《Redis缓存最佳实践指南》涵盖缓存更新策略、缓存击穿防护、大key处理和性能优化。包括Cache Aside Pattern、Write Through、分布式锁、大key拆分和批量操作等技术,帮助你在项目中高效使用Redis缓存。
231 22
|
27天前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
37 5
|
1月前
|
缓存 NoSQL 中间件
redis高并发缓存中间件总结!
本文档详细介绍了高并发缓存中间件Redis的原理、高级操作及其在电商架构中的应用。通过阿里云的角度,分析了Redis与架构的关系,并展示了无Redis和使用Redis缓存的架构图。文档还涵盖了Redis的基本特性、应用场景、安装部署步骤、配置文件详解、启动和关闭方法、systemctl管理脚本的生成以及日志警告处理等内容。适合初学者和有一定经验的技术人员参考学习。
180 7
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
99 1
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
52 2
数据的存储--Redis缓存存储(二)
|
2月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
78 6
|
2月前
|
缓存 NoSQL 关系型数据库
redis和缓存及相关问题和解决办法 什么是缓存预热、缓存穿透、缓存雪崩、缓存击穿
本文深入探讨了Redis缓存的相关知识,包括缓存的概念、使用场景、可能出现的问题(缓存预热、缓存穿透、缓存雪崩、缓存击穿)及其解决方案。
215 0
redis和缓存及相关问题和解决办法 什么是缓存预热、缓存穿透、缓存雪崩、缓存击穿