Redis学习笔记(五)缓存穿透和缓存击穿

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis学习笔记(五)缓存穿透和缓存击穿

一、缓存穿透


当客户端查询某个key时,先查询redis,如果不存在出于容错考虑会再查询数据库。如果有大量不存在的key请求时,大量请求会被映射到底层存储层,造成数据库压力过大,这就是缓存穿透。


image.png

要解决缓存穿透问题,可以有两种方案


缓存穿透方案一:布隆过滤器


首先了解一下布隆过滤器的原理


布隆过滤器是由位图(bitmap)和哈希函数组成。如下图所示,不同key在经过多个hash函数后,映射到位图的一定位置(哈希值对数组长度取模),则该位的数值设置为1,这样就完成了一次add操作(bf.add)。


判断元素是否存在时,跟add操作一样,计算hash值,如果所有位置的值都为1,则认为元素存在。


image.png

误判的场景


假如key1和key2存在于缓存中,key3不存在于缓存中,但是当key3经过hash计算后,发现数组中值恰好被key1和key2设置为1,则会被误判为key3也存在于缓存中,所以布隆过滤器是存在一定概率误判的情况的。


所以布隆过滤器中如果存在,那么可能存在,也可能不存在,如果布隆过滤器中不存在,那一定不存在。需要根据业务及经验,设置合理的参数,以平衡准确率和内存空间。


image.png


布隆过滤器的创建提供了三个参数:


key:键值


error_rate:期望错误率,错误率越小,需要的存储空间越大


capacity:容量,元素数量超过容量时,误判率会上升


默认错误率为0.01,容量为100


bf.add:会创建默认的布隆过滤器(即错误率为0.01,容量为100)


bf.reserve:可以指定错误率和容量


布隆过滤器用于解决缓存穿透


把已经存在的数据存储到布隆过滤器中,如果有请求查询时,发现布隆过滤器中不存在,则直接返回,不继续查询缓存和数据库。如果存在,则查询缓存(因为有误判的情况,缓存也可能不存在,不存在时继续查询数据库)


布隆过滤器的基本操作命令

#添加单个元素
bf.add {key} {item}
#添加多个元素
bf.add {key} {item} [item ...]
#判断某个元素是否存在
bf.exists {key} {item}
#判断多个元素是否存在
bf.mexists {key} {item} [item ...]
#指定错误率和容量
bf.reserve {key} {error_rate} {capacity} [EXPANSION expansion]


缓存穿透方案二:缓存空对象


当redis不存在时,查询数据库,如果数据库也不存在,将该key存储到redis,value存储为空值,当下次有相同key请求时不会继续查询数据库,这样就需要由大量的空间来存储这些不存在的key。


image.png


二、缓存击穿


缓存击穿是指当某个key因为热点问题被超高并发访问时导致缓存失效而加载数据库的一种现象。


通常的做法时加锁-setnx,当缓存失效时尝试获取锁,获取锁成功则访问数据库,否则就重试get缓存。


关于redis的分布式锁参考另一篇博客:Redis学习笔记(二)分布式锁


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
13天前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
50 6
|
9天前
|
存储 缓存 监控
缓存击穿、缓存穿透、缓存雪崩 3大问题,如何彻底解决?
【10月更文挑战第8天】在分布式系统中,缓存的使用极大地提高了系统的性能和响应速度。然而,缓存击穿、缓存穿透和缓存雪崩是三个常见的缓存相关问题,它们可能导致系统性能下降,甚至引发系统崩溃。本文将深入探讨这三个问题的成因、影响以及彻底的解决方案。
30 1
|
11天前
|
NoSQL 数据可视化 Linux
redis学习四、可视化操作工具链接 centos redis,付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装
本文介绍了Redis的两个可视化管理工具:付费的Redis Desktop Manager和免费的Another Redis DeskTop Manager,包括它们的下载、安装和使用方法,以及在使用Another Redis DeskTop Manager连接Redis时可能遇到的问题和解决方案。
36 1
redis学习四、可视化操作工具链接 centos redis,付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装
|
8天前
|
NoSQL Linux Redis
Docker学习二(Centos):Docker安装并运行redis(成功运行)
这篇文章介绍了在CentOS系统上使用Docker安装并运行Redis数据库的详细步骤,包括拉取Redis镜像、创建挂载目录、下载配置文件、修改配置以及使用Docker命令运行Redis容器,并检查运行状态和使用Navicat连接Redis。
64 3
|
10天前
|
NoSQL Java Redis
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
这篇文章介绍了如何使用Spring Boot整合Apache Shiro框架进行后端开发,包括认证和授权流程,并使用Redis存储Token以及MD5加密用户密码。
16 0
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
|
14天前
|
存储 Prometheus NoSQL
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
19 3
|
14天前
|
缓存 NoSQL Ubuntu
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
41 3
|
14天前
|
消息中间件 缓存 NoSQL
大数据-49 Redis 缓存问题中 穿透、雪崩、击穿、数据不一致、HotKey、BigKey
大数据-49 Redis 缓存问题中 穿透、雪崩、击穿、数据不一致、HotKey、BigKey
33 2
|
14天前
|
缓存 分布式计算 NoSQL
大数据-47 Redis 缓存过期 淘汰删除策略 LRU LFU 基础概念
大数据-47 Redis 缓存过期 淘汰删除策略 LRU LFU 基础概念
35 2
|
11天前
|
NoSQL Redis
redis学习五、错误总结,redis正常运行时后会出现一些bug 总结。
本文介绍了Redis在正常运行时可能遇到的一个错误,即无法进行磁盘持久化的问题,并提供了通过设置`stop-writes-on-bgsave-error`为`no`来解决这一问题的方案。
58 0