[Redis]——缓存击穿和缓存穿透及解决方案(图解+代码+解释)

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: [Redis]——缓存击穿和缓存穿透及解决方案(图解+代码+解释)

一、缓存击穿(热点Key问题)

  • 个人理解:

       这里先提前说一下,热点Key问题不考虑缓存穿透了,也就是不考虑命中空缓存了,因为这种一般用于活动秒杀,这些热点Key都是提前存储好的(貌似是这样的,我也不太确定~~)

1.1 问题描述

   经常被查询的一个Key突然失效或者宕机了,导致重建缓存,由于是热点Key,所以有不断的线程来查和重建缓存,导致大量数据到达数据库,这种我们称为缓存击穿

1.2 解决方案及逻辑图

   1.2.1 互斥锁

解释:

   如果未命中缓存,先获取互斥锁,获取锁之后要再次检查缓存,如果还是未命中进行缓存重建,这样当其他线程来的时候就会获取锁失败,这时我们让这个线程休眠一会,重新查询缓存,如果命中就返回嘛,如果没命中再次尝试获取锁,假设这次获取锁成功了,还是再次检查缓存,如果未命中重建缓存。

优点:可保证数据高一致性

缺点:性能低,可能发生死锁

🦈->逻辑图

🦈->上代码

   public Shop solveCacheMutex(Long id){
        // 查询redis中有无数据
        String key = "cache:shop:" + id;
        String shopCache = stringRedisTemplate.opsForValue().get(key);
        if(StrUtil.isNotBlank(shopCache)){
            // 命中缓存
            return JSONUtil.toBean(shopCache, Shop.class);
        }
        // 判断缓存穿透问题 - shopCaache如果为“” 命中空缓存 如果为null 需要查询数据库
        if(shopCache != null){
            // 命中空缓存
            return null;
        }
        // 2.1未命中缓存 尝试获取互斥锁
        String lockKey = "lock:shop:" + id;
        Shop shop = null;
        try {
            boolean lock = tryLock(lockKey);
            if(!lock){
                // 获取锁失败
                Thread.sleep(50);
                return solveCacheMutex(id);
            }
            // 获取锁成功
            // 再次检查Redis是否有缓存
            shopCache = stringRedisTemplate.opsForValue().get(key);
            if(StrUtil.isNotBlank(shopCache)){
                return JSONUtil.toBean(shopCache, Shop.class);
            }
            // 查询数据库
            shop = getById(id);
            // 店铺不存在
            if(shop == null){
                // 将空值写入Redis
                stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
                return null;
            }
            // 存储Redis
            stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(shop), RedisConstants.CACHE_SHOP_TTL, TimeUnit.MINUTES);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        } finally {
            // 释放互斥锁
            unLock(lockKey);
        }
        return shop;
    }
   1.2.2 逻辑过期

解释:

   为缓存key设置逻辑过期时间(就是加一个字段),假设线程1查询缓存,未命中直接返回,命中判断是否过期发现,没过期也好说直接返回数据就行,已过期,就会尝试获取锁,然后此刻开启新的线程进行缓存重建,线程1返回旧数据,其他线程获取锁失败都返回旧数据。

优点:性能高

缺点:数据可能不一致,实现复杂

🐟->逻辑图

🐟->上代码

    private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);
    public Shop solveCacheLogicalExpire(Long id){
        // 查询redis中有无数据
        String key = "cache:shop:" + id;
        String shopCache = stringRedisTemplate.opsForValue().get(key);
        if(StrUtil.isBlank(shopCache)){
            // 未命中返回null
            return null;
        }
        // 命中缓存 检查是否过期
        // 未过期 直接返回 注意这里类型转换
        RedisData redisData = JSONUtil.toBean(shopCache, RedisData.class);
        JSONObject jsonObject = (JSONObject) redisData.getData(); // 此处是将Bean对象转ObjectJson
        Shop shop = JSONUtil.toBean(jsonObject, Shop.class);
        LocalDateTime expireTime = redisData.getExpireTime();
        if(expireTime.isAfter(LocalDateTime.now())){
            return shop;
        }
        // 过期
        // 获取锁
        String lockKey = "lock:shop:" + id;
        boolean lock = tryLock(lockKey);
        if(lock){
            // 成功
            // 再次检查Redis缓存是否逻辑过期
            if(expireTime.isAfter(LocalDateTime.now())){
                // 没过期
                return shop;
            }
            // 再次检查过期
            // 开启新线程
            CACHE_REBUILD_EXECUTOR.submit(()->{
                try {
                    // 重建缓存
                    this.saveShop2Redis(id, 20L);
                } catch (Exception e) {
                    throw new RuntimeException(e);
                } finally {
                    unLock(lockKey);
                }
            });
 
        }
        // 返回数据
        return shop;
    }
 
    public void saveShop2Redis(Long id, Long expireSeconds){
        RedisData redisData = new RedisData();
        Shop shop = getById(id);
        redisData.setData(shop);
        redisData.setExpireTime(LocalDateTime.now().plusSeconds(expireSeconds));
        stringRedisTemplate.opsForValue().set(RedisConstants.CACHE_SHOP_KEY + id, JSONUtil.toJsonStr(redisData));
    }

获取锁和释放锁逻辑

    private boolean tryLock(String key){
        Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);
        return BooleanUtil.isTrue(flag);
    }
    // 释放锁
    private void unLock(String key){
        stringRedisTemplate.delete(key);
    }

二、缓存穿透

2.1 问题描述

查询的Key压根不存在,所以每次都未命中缓存,直接到数据库,这我们称为缓存穿透。

2.2 解决方案逻辑图

方案① 缓存空对象

方案② 布隆过滤器

2.2.1 缓存空对象

这里原理就不说了,只说下优缺点。然后上代码

  1. 优点:实现简单,维护方便
  2. 缺点:占内存,可能造成短期数据不一致

上代码

    public Shop solveCacheThrow(Long id){
        // 查询redis中有无数据
        String key = "cache:shop:" + id;
        String shopCache = stringRedisTemplate.opsForValue().get(key);
        if(StrUtil.isNotBlank(shopCache)){
            // 命中缓存
            return JSONUtil.toBean(shopCache, Shop.class);
        }
        // 解决缓存穿透问题 - shopCaache如果为“” 命中空缓存 如果为null 查询数据库
        if(shopCache != null){
            // 命中空缓存
            return null;
        }
 
        // 查询数据库
        Shop shop = getById(id);
        // 店铺不存在
        if(shop == null){
            // 将空值写入Redis
            stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
            return null;
        }
 
        // 存储Redis
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(shop), RedisConstants.CACHE_SHOP_TTL, TimeUnit.MINUTES);
        return shop;
    }
2.2.2 布隆过滤器

布隆过滤器俺不会~~~

我只知道他是根据一个算法算出来数据库有没有存储该key对应数据,但是放行可能也没数据。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
3天前
|
缓存
停止AVPlayer并在缓存阶段立即播放其它视频闪退问题及解决方案
停止AVPlayer并在缓存阶段立即播放其它视频闪退问题及解决方案
7 0
|
4天前
|
缓存 NoSQL Redis
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?-- Redis多线程
【5月更文挑战第21天】Redis启用多线程后,主线程负责接收事件和命令执行,IO线程处理读写数据。请求处理流程中,主线程接收客户端请求,IO线程读取并解析命令,主线程执行后写回响应。业界普遍认为,除非必要,否则不建议启用多线程模式,因单线程性能已能满足多数需求。公司实际场景中,启用多线程使QPS提升约50%,或选择使用Redis Cluster以提升性能和可用性。
10 0
|
5天前
|
NoSQL Redis 数据库
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?-- Memcache + Redis 多线程
【5月更文挑战第20天】Redis采用单线程模式以避免上下文切换和资源竞争,简化调试,且其性能瓶颈在于网络IO和内存,而非多线程。相比之下,Memcache使用多线程能更好地利用多核CPU,但伴随上下文切换和锁管理的开销。尽管Redis单线程性能不俗,6.0版本引入多线程以提升高并发下的IO处理能力。启用多线程后,Redis结合Reactor和epoll实现并发处理,提高系统性能。
25 0
|
6天前
|
缓存 NoSQL 中间件
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?epoll、poll和select + Reactor模式
【5月更文挑战第19天】`epoll`、`poll`和`select`是Linux下多路复用IO的三种方式。`select`需要主动调用检查文件描述符,而`epoll`能实现回调,即使不调用`epoll_wait`也能处理就绪事件。`poll`与`select`类似,但支持更多文件描述符。面试时,重点讲解`epoll`的高效性和`Reactor`模式,该模式包括一个分发器和多个处理器,用于处理连接和读写事件。Redis采用单线程模型结合`epoll`的Reactor模式,确保高性能。在Redis 6.0后引入多线程,但基本原理保持不变。
24 2
|
7天前
|
缓存 NoSQL Redis
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?--epoll调用和中断
【5月更文挑战第18天】`epoll`包含红黑树和就绪列表,用于高效管理文件描述符。关键系统调用有3个:`epoll_create()`创建epoll结构,`epoll_ctl()`添加/删除/修改文件描述符,`epoll_wait()`获取就绪文件描述符。`epoll_wait()`可设置超时时间(-1阻塞,0立即返回,正数等待指定时间)。当文件描述符满足条件(如数据到达)时,通过中断机制(如网卡或时钟中断)更新就绪列表,唤醒等待的进程。
35 6
|
8天前
|
NoSQL Redis 缓存
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?
【5月更文挑战第17天】Redis常被称为单线程,但实际上其在处理命令时采用单线程,但在6.0后IO变为多线程。持久化和数据同步等任务由额外线程处理,因此严格来说Redis是多线程的。面试时需理解Redis的IO模型,如epoll和Reactor模式,以及其内存操作带来的高性能。Redis使用epoll进行高效文件描述符管理,实现高性能的网络IO。在讨论Redis与Memcached的线程模型差异时,应强调Redis的单线程模型如何通过内存操作和高效IO实现高性能。
37 7
【后端面经】【缓存】36|Redis 单线程:为什么 Redis 用单线程而 Memcached 用多线程?
|
9天前
|
缓存 数据库 NoSQL
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?--主从切换方案
【5月更文挑战第16天】该方案提出了解决Redis缓存穿透、击穿和雪崩问题的策略。通过使用两个或多个互为备份的Redis集群,确保在单个集群故障时,另一个可以接管。在故障发生时,业务会与备用集群保持心跳检测,并根据业务重要性分批转移流量,逐步增加对备用集群的依赖,同时监控系统稳定性。对于成本敏感的小型公司,可以采用低成本的单机或小规模自建Redis备份。此方案强调渐进式流量转移,以保护系统免受突然压力冲击。
20 1
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?--主从切换方案
|
10天前
|
缓存 数据库 算法
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?---解决缓存击穿和雪崩、限流
【5月更文挑战第15天】本文介绍了如何解决缓存击穿和雪崩问题。对于缓存击穿,采用singleflight模式,确保即使热点数据导致大量请求未命中缓存,也只允许一个请求真正查询数据,其他请求等待其结果。对于缓存雪崩,解决方案是在设置过期时间时添加随机偏移量,避免所有数据同时过期。偏移量应与过期时间成正比。此外,限流也是一个重要策略,可以在服务层和数据库层实施,以限制请求流量,保护数据库免受高并发压力。
16 0
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?---解决缓存击穿和雪崩、限流
|
11天前
|
存储 缓存 NoSQL
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?---解决缓存穿透
【5月更文挑战第14天】解决缓存穿透问题有两种策略。一是回写特殊值,当数据不存在时,在缓存中存储特殊值以标记,避免下次重复查询数据库。但此方法可能被恶意请求利用,浪费内存。二是使用布隆过滤器,预先判断数据是否存在,减少无效数据库查询。布隆过滤器虽有假阳性可能,但概率低,可接受。此外,可先查缓存再查布隆过滤器,优化正常请求的效率。两种方式各有优劣,实际应用需根据场景选择。
24 3
|
11天前
|
缓存 NoSQL 关系型数据库
【Redis】Redis 缓存重点解析
【Redis】Redis 缓存重点解析
28 0