Redis学习笔记(五)缓存穿透和缓存击穿

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis学习笔记(五)缓存穿透和缓存击穿

一、缓存穿透


当客户端查询某个key时,先查询redis,如果不存在出于容错考虑会再查询数据库。如果有大量不存在的key请求时,大量请求会被映射到底层存储层,造成数据库压力过大,这就是缓存穿透。


image.png

要解决缓存穿透问题,可以有两种方案


缓存穿透方案一:布隆过滤器


首先了解一下布隆过滤器的原理


布隆过滤器是由位图(bitmap)和哈希函数组成。如下图所示,不同key在经过多个hash函数后,映射到位图的一定位置(哈希值对数组长度取模),则该位的数值设置为1,这样就完成了一次add操作(bf.add)。


判断元素是否存在时,跟add操作一样,计算hash值,如果所有位置的值都为1,则认为元素存在。


image.png

误判的场景


假如key1和key2存在于缓存中,key3不存在于缓存中,但是当key3经过hash计算后,发现数组中值恰好被key1和key2设置为1,则会被误判为key3也存在于缓存中,所以布隆过滤器是存在一定概率误判的情况的。


所以布隆过滤器中如果存在,那么可能存在,也可能不存在,如果布隆过滤器中不存在,那一定不存在。需要根据业务及经验,设置合理的参数,以平衡准确率和内存空间。


image.png


布隆过滤器的创建提供了三个参数:


key:键值


error_rate:期望错误率,错误率越小,需要的存储空间越大


capacity:容量,元素数量超过容量时,误判率会上升


默认错误率为0.01,容量为100


bf.add:会创建默认的布隆过滤器(即错误率为0.01,容量为100)


bf.reserve:可以指定错误率和容量


布隆过滤器用于解决缓存穿透


把已经存在的数据存储到布隆过滤器中,如果有请求查询时,发现布隆过滤器中不存在,则直接返回,不继续查询缓存和数据库。如果存在,则查询缓存(因为有误判的情况,缓存也可能不存在,不存在时继续查询数据库)


布隆过滤器的基本操作命令

#添加单个元素
bf.add {key} {item}
#添加多个元素
bf.add {key} {item} [item ...]
#判断某个元素是否存在
bf.exists {key} {item}
#判断多个元素是否存在
bf.mexists {key} {item} [item ...]
#指定错误率和容量
bf.reserve {key} {error_rate} {capacity} [EXPANSION expansion]


缓存穿透方案二:缓存空对象


当redis不存在时,查询数据库,如果数据库也不存在,将该key存储到redis,value存储为空值,当下次有相同key请求时不会继续查询数据库,这样就需要由大量的空间来存储这些不存在的key。


image.png


二、缓存击穿


缓存击穿是指当某个key因为热点问题被超高并发访问时导致缓存失效而加载数据库的一种现象。


通常的做法时加锁-setnx,当缓存失效时尝试获取锁,获取锁成功则访问数据库,否则就重试get缓存。


关于redis的分布式锁参考另一篇博客:Redis学习笔记(二)分布式锁


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
27天前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
28天前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
【赵渝强老师】基于Redis的旁路缓存架构
|
1月前
|
缓存 NoSQL Redis
Redis 缓存使用的实践
《Redis缓存最佳实践指南》涵盖缓存更新策略、缓存击穿防护、大key处理和性能优化。包括Cache Aside Pattern、Write Through、分布式锁、大key拆分和批量操作等技术,帮助你在项目中高效使用Redis缓存。
195 22
|
21天前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
36 5
|
1月前
|
缓存 NoSQL 中间件
redis高并发缓存中间件总结!
本文档详细介绍了高并发缓存中间件Redis的原理、高级操作及其在电商架构中的应用。通过阿里云的角度,分析了Redis与架构的关系,并展示了无Redis和使用Redis缓存的架构图。文档还涵盖了Redis的基本特性、应用场景、安装部署步骤、配置文件详解、启动和关闭方法、systemctl管理脚本的生成以及日志警告处理等内容。适合初学者和有一定经验的技术人员参考学习。
162 7
|
1月前
|
存储 缓存 监控
利用 Redis 缓存特性避免缓存穿透的策略与方法
【10月更文挑战第23天】通过以上对利用 Redis 缓存特性避免缓存穿透的详细阐述,我们对这一策略有了更深入的理解。在实际应用中,我们需要根据具体情况灵活运用这些方法,并结合其他技术手段,共同保障系统的稳定和高效运行。同时,要不断关注 Redis 缓存特性的发展和变化,及时调整策略,以应对不断出现的新挑战。
64 10
|
1月前
|
缓存 监控 NoSQL
Redis 缓存穿透的检测方法与分析
【10月更文挑战第23天】通过以上对 Redis 缓存穿透检测方法的深入探讨,我们对如何及时发现和处理这一问题有了更全面的认识。在实际应用中,我们需要综合运用多种检测手段,并结合业务场景和实际情况进行分析,以确保能够准确、及时地检测到缓存穿透现象,并采取有效的措施加以解决。同时,要不断优化和改进检测方法,提高检测的准确性和效率,为系统的稳定运行提供有力保障。
50 5
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
95 1
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
51 2
数据的存储--Redis缓存存储(二)
|
2月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
78 6