redis入门到精通系列(十一):redis的缓存穿透、缓存击穿以及缓存雪崩

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 当用户想要查询一个数据的时候,发现redis内存数据库中没有,于是向持久化数据库查询发现也没有,相当于请求绕过缓存直接打到持久层。当用户很多的时候,如果大量缓存都没有命中,于是都去请求了持久化数据库,这会给持久化数据库带来很大的压力,这就是缓存穿透。

点赞再看,养成习惯,听说微信搜公众号《Java鱼仔》会让自己的技术更上一层楼


(一)缓存穿透(查不到)


1.1 概念


当用户想要查询一个数据的时候,发现redis内存数据库中没有,于是向持久化数据库查询发现也没有,相当于请求绕过缓存直接打到持久层。当用户很多的时候,如果大量缓存都没有命中,于是都去请求了持久化数据库,这会给持久化数据库带来很大的压力,这就是缓存穿透。


1.2 解决方案


缓存空对象


如果用户的请求在持久层中也未命中,即使返回的空对象也会将其缓存起来,并且设置一个过滤时间,之后再访问这个数据时缓存中就有了,保护了后端的数据库。


可能会导致的问题


1.如果空值能被缓存起来,就意味着我们需要更多的空间去储存很多数据库中为空的键。 2.对于缓存起来的空值我们会设置一个过期时间,这就会导致缓存层和存储层一段时间的数据不一致,比如原来为空值的键被放进了缓存,在未过期的时候数据库刚好新增了这样一个键,这对需要保持一致性的业务会有影响。


布隆过滤器


布隆过滤器可以理解为是一个不怎么精确的set,可以使用contains判断去判断这个值是否在布隆过滤器中存在。并且在达到去重的效果同时,可以节约大量的空间。因此我们可以将所有存在的值放入布隆过滤器中,请求首先进入过滤器,如果过滤器返回不存在,就直接驳回这个请求。因此这个请求就不会穿透到持久层的数据库中。


不过我也提到了,这是一个不怎么精确的数据结构,打个比方,对于一个key,如果布隆过滤器返回不存在,那么这个key在布隆过滤器中一定不存在,但是如果布隆过滤器返回key存在,那么有可能这个值在布隆过滤器中是不存在的。这点误差对于解决缓存穿透问题是完全可以接受的,毕竟布隆过滤器只是放在真实缓存前的一道屏障,只要对存在于缓存中的key不错误过滤就行。 对于布隆过滤器,我会在下一章进行讲解。


(二)缓存击穿(量太大、缓存过期)


2.1 概念


缓存击穿是指一个key非常热门,会有大量并发对这个点进行访问,在这个key失效的瞬间,持续的大并发就会穿过环境直接请求数据库,就好像在墙上打了一颗子弹一样。


2.2 解决方案


1.设置热点数据永不过期


从缓存层面上看,没有设置过期时间,就不会出现热点key过期后产生的问题


2.加互斥锁


使用分布式锁,使得对于每个key只有一个线程去查询后端的服务,这种方式可以将高并发的压力转移到分布式锁,因此对于分布式锁也是另外一个考验。


(三)缓存雪崩


3.1 概念


缓存雪崩指的是在某个时间端,缓存集中过期失效,大量请求直接打到持久层数据库。或者更加严重的情况缓存服务器直接宕机,所有请求直接打到持久层数据库,导致瞬间压垮持久层数据库。


3.2 解决方案


redis高可用


对于redis缓存服务器宕机导致的缓存雪崩,可以多增加几台redis服务器组成redis集群环境,实现redis的高可用。


限流降级


在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量,比如对于某个key只允许一个线程查询和写缓存,其他线程等待。


数据预热


数据预热是指在正式部署之前,把可能的数据预先加载到缓存中,对于不同的key设置不同的过期时间,让缓存失效的时间点尽量均匀。



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
10天前
|
缓存 NoSQL 中间件
Redis,分布式缓存演化之路
本文介绍了基于Redis的分布式缓存演化,探讨了分布式锁和缓存一致性问题及其解决方案。首先分析了本地缓存和分布式缓存的区别与优劣,接着深入讲解了分布式远程缓存带来的并发、缓存失效(穿透、雪崩、击穿)等问题及应对策略。文章还详细描述了如何使用Redis实现分布式锁,确保高并发场景下的数据一致性和系统稳定性。最后,通过双写模式和失效模式讨论了缓存一致性问题,并提出了多种解决方案,如引入Canal中间件等。希望这些内容能为读者在设计分布式缓存系统时提供有价值的参考。感谢您的阅读!
Redis,分布式缓存演化之路
|
2月前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
187 85
|
1月前
|
存储 缓存 NoSQL
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
|
1月前
|
缓存 NoSQL 关系型数据库
云端问道21期实操教学-应对高并发,利用云数据库 Tair(兼容 Redis®)缓存实现极速响应
本文介绍了如何通过云端问道21期实操教学,利用云数据库 Tair(兼容 Redis®)缓存实现高并发场景下的极速响应。主要内容分为四部分:方案概览、部署准备、一键部署和完成及清理。方案概览中,展示了如何使用 Redis 提升业务性能,降低响应时间;部署准备介绍了账号注册与充值步骤;一键部署详细讲解了创建 ECS、RDS 和 Redis 实例的过程;最后,通过对比测试验证了 Redis 缓存的有效性,并指导用户清理资源以避免额外费用。
|
2月前
|
缓存 监控 NoSQL
Redis经典问题:缓存穿透
本文详细探讨了分布式系统和缓存应用中的经典问题——缓存穿透。缓存穿透是指用户请求的数据在缓存和数据库中都不存在,导致大量请求直接落到数据库上,可能引发数据库崩溃或性能下降。文章介绍了几种有效的解决方案,包括接口层增加校验、缓存空值、使用布隆过滤器、优化数据库查询以及加强监控报警机制。通过这些方法,可以有效缓解缓存穿透对系统的影响,提升系统的稳定性和性能。
|
3月前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
3月前
|
缓存 NoSQL 数据库
缓存穿透、缓存击穿和缓存雪崩及其解决方案
在现代应用中,缓存是提升性能的关键技术之一。然而,缓存系统也可能遇到一系列问题,如缓存穿透、缓存击穿和缓存雪崩。这些问题可能导致数据库压力过大,甚至系统崩溃。本文将探讨这些问题及其解决方案。
|
3月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
69 5
|
4月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
99 6
|
3月前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
【赵渝强老师】基于Redis的旁路缓存架构