[Redis]——缓存击穿和缓存穿透及解决方案(图解+代码+解释)

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: [Redis]——缓存击穿和缓存穿透及解决方案(图解+代码+解释)

一、缓存击穿(热点Key问题)

  • 个人理解:

       这里先提前说一下,热点Key问题不考虑缓存穿透了,也就是不考虑命中空缓存了,因为这种一般用于活动秒杀,这些热点Key都是提前存储好的(貌似是这样的,我也不太确定~~)

1.1 问题描述

   经常被查询的一个Key突然失效或者宕机了,导致重建缓存,由于是热点Key,所以有不断的线程来查和重建缓存,导致大量数据到达数据库,这种我们称为缓存击穿

1.2 解决方案及逻辑图

   1.2.1 互斥锁

解释:

   如果未命中缓存,先获取互斥锁,获取锁之后要再次检查缓存,如果还是未命中进行缓存重建,这样当其他线程来的时候就会获取锁失败,这时我们让这个线程休眠一会,重新查询缓存,如果命中就返回嘛,如果没命中再次尝试获取锁,假设这次获取锁成功了,还是再次检查缓存,如果未命中重建缓存。

优点:可保证数据高一致性

缺点:性能低,可能发生死锁

🦈->逻辑图

🦈->上代码

   public Shop solveCacheMutex(Long id){
        // 查询redis中有无数据
        String key = "cache:shop:" + id;
        String shopCache = stringRedisTemplate.opsForValue().get(key);
        if(StrUtil.isNotBlank(shopCache)){
            // 命中缓存
            return JSONUtil.toBean(shopCache, Shop.class);
        }
        // 判断缓存穿透问题 - shopCaache如果为“” 命中空缓存 如果为null 需要查询数据库
        if(shopCache != null){
            // 命中空缓存
            return null;
        }
        // 2.1未命中缓存 尝试获取互斥锁
        String lockKey = "lock:shop:" + id;
        Shop shop = null;
        try {
            boolean lock = tryLock(lockKey);
            if(!lock){
                // 获取锁失败
                Thread.sleep(50);
                return solveCacheMutex(id);
            }
            // 获取锁成功
            // 再次检查Redis是否有缓存
            shopCache = stringRedisTemplate.opsForValue().get(key);
            if(StrUtil.isNotBlank(shopCache)){
                return JSONUtil.toBean(shopCache, Shop.class);
            }
            // 查询数据库
            shop = getById(id);
            // 店铺不存在
            if(shop == null){
                // 将空值写入Redis
                stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
                return null;
            }
            // 存储Redis
            stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(shop), RedisConstants.CACHE_SHOP_TTL, TimeUnit.MINUTES);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        } finally {
            // 释放互斥锁
            unLock(lockKey);
        }
        return shop;
    }
   1.2.2 逻辑过期

解释:

   为缓存key设置逻辑过期时间(就是加一个字段),假设线程1查询缓存,未命中直接返回,命中判断是否过期发现,没过期也好说直接返回数据就行,已过期,就会尝试获取锁,然后此刻开启新的线程进行缓存重建,线程1返回旧数据,其他线程获取锁失败都返回旧数据。

优点:性能高

缺点:数据可能不一致,实现复杂

🐟->逻辑图

🐟->上代码

    private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);
    public Shop solveCacheLogicalExpire(Long id){
        // 查询redis中有无数据
        String key = "cache:shop:" + id;
        String shopCache = stringRedisTemplate.opsForValue().get(key);
        if(StrUtil.isBlank(shopCache)){
            // 未命中返回null
            return null;
        }
        // 命中缓存 检查是否过期
        // 未过期 直接返回 注意这里类型转换
        RedisData redisData = JSONUtil.toBean(shopCache, RedisData.class);
        JSONObject jsonObject = (JSONObject) redisData.getData(); // 此处是将Bean对象转ObjectJson
        Shop shop = JSONUtil.toBean(jsonObject, Shop.class);
        LocalDateTime expireTime = redisData.getExpireTime();
        if(expireTime.isAfter(LocalDateTime.now())){
            return shop;
        }
        // 过期
        // 获取锁
        String lockKey = "lock:shop:" + id;
        boolean lock = tryLock(lockKey);
        if(lock){
            // 成功
            // 再次检查Redis缓存是否逻辑过期
            if(expireTime.isAfter(LocalDateTime.now())){
                // 没过期
                return shop;
            }
            // 再次检查过期
            // 开启新线程
            CACHE_REBUILD_EXECUTOR.submit(()->{
                try {
                    // 重建缓存
                    this.saveShop2Redis(id, 20L);
                } catch (Exception e) {
                    throw new RuntimeException(e);
                } finally {
                    unLock(lockKey);
                }
            });
 
        }
        // 返回数据
        return shop;
    }
 
    public void saveShop2Redis(Long id, Long expireSeconds){
        RedisData redisData = new RedisData();
        Shop shop = getById(id);
        redisData.setData(shop);
        redisData.setExpireTime(LocalDateTime.now().plusSeconds(expireSeconds));
        stringRedisTemplate.opsForValue().set(RedisConstants.CACHE_SHOP_KEY + id, JSONUtil.toJsonStr(redisData));
    }

获取锁和释放锁逻辑

    private boolean tryLock(String key){
        Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);
        return BooleanUtil.isTrue(flag);
    }
    // 释放锁
    private void unLock(String key){
        stringRedisTemplate.delete(key);
    }

二、缓存穿透

2.1 问题描述

查询的Key压根不存在,所以每次都未命中缓存,直接到数据库,这我们称为缓存穿透。

2.2 解决方案逻辑图

方案① 缓存空对象

方案② 布隆过滤器

2.2.1 缓存空对象

这里原理就不说了,只说下优缺点。然后上代码

  1. 优点:实现简单,维护方便
  2. 缺点:占内存,可能造成短期数据不一致

上代码

    public Shop solveCacheThrow(Long id){
        // 查询redis中有无数据
        String key = "cache:shop:" + id;
        String shopCache = stringRedisTemplate.opsForValue().get(key);
        if(StrUtil.isNotBlank(shopCache)){
            // 命中缓存
            return JSONUtil.toBean(shopCache, Shop.class);
        }
        // 解决缓存穿透问题 - shopCaache如果为“” 命中空缓存 如果为null 查询数据库
        if(shopCache != null){
            // 命中空缓存
            return null;
        }
 
        // 查询数据库
        Shop shop = getById(id);
        // 店铺不存在
        if(shop == null){
            // 将空值写入Redis
            stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
            return null;
        }
 
        // 存储Redis
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(shop), RedisConstants.CACHE_SHOP_TTL, TimeUnit.MINUTES);
        return shop;
    }
2.2.2 布隆过滤器

布隆过滤器俺不会~~~

我只知道他是根据一个算法算出来数据库有没有存储该key对应数据,但是放行可能也没数据。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
7天前
|
缓存 NoSQL Java
Redis应用—8.相关的缓存框架
本文介绍了Ehcache和Guava Cache两个缓存框架及其使用方法,以及如何自定义缓存。主要内容包括:Ehcache缓存框架、Guava Cache缓存框架、自定义缓存。总结:Ehcache适合用作本地缓存或与Redis结合使用,Guava Cache则提供了更灵活的缓存管理和更高的并发性能。自定义缓存可以根据具体需求选择不同的数据结构和引用类型来实现特定的缓存策略。
Redis应用—8.相关的缓存框架
|
3天前
|
存储 缓存 NoSQL
Redis缓存设计与性能优化
Redis缓存设计与性能优化涵盖缓存穿透、击穿、雪崩及热点key重建等问题。针对缓存穿透,可采用缓存空对象或布隆过滤器;缓存击穿通过随机设置过期时间避免集中失效;缓存雪崩需确保高可用性并使用限流熔断组件;热点key重建利用互斥锁防止大量线程同时操作。此外,开发规范强调键值设计、命令使用和客户端配置优化,如避免bigkey、合理使用批量操作和连接池管理。系统内核参数如vm.swappiness、vm.overcommit_memory及文件句柄数的优化也至关重要。慢查询日志帮助监控性能瓶颈。
30 9
|
1月前
|
缓存 NoSQL 中间件
Redis,分布式缓存演化之路
本文介绍了基于Redis的分布式缓存演化,探讨了分布式锁和缓存一致性问题及其解决方案。首先分析了本地缓存和分布式缓存的区别与优劣,接着深入讲解了分布式远程缓存带来的并发、缓存失效(穿透、雪崩、击穿)等问题及应对策略。文章还详细描述了如何使用Redis实现分布式锁,确保高并发场景下的数据一致性和系统稳定性。最后,通过双写模式和失效模式讨论了缓存一致性问题,并提出了多种解决方案,如引入Canal中间件等。希望这些内容能为读者在设计分布式缓存系统时提供有价值的参考。感谢您的阅读!
130 6
Redis,分布式缓存演化之路
|
2月前
|
存储 缓存 NoSQL
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
|
2月前
|
缓存 NoSQL 关系型数据库
云端问道21期实操教学-应对高并发,利用云数据库 Tair(兼容 Redis®)缓存实现极速响应
本文介绍了如何通过云端问道21期实操教学,利用云数据库 Tair(兼容 Redis®)缓存实现高并发场景下的极速响应。主要内容分为四部分:方案概览、部署准备、一键部署和完成及清理。方案概览中,展示了如何使用 Redis 提升业务性能,降低响应时间;部署准备介绍了账号注册与充值步骤;一键部署详细讲解了创建 ECS、RDS 和 Redis 实例的过程;最后,通过对比测试验证了 Redis 缓存的有效性,并指导用户清理资源以避免额外费用。
|
3月前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
207 85
|
5月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
108 6
|
3月前
|
缓存 监控 NoSQL
Redis经典问题:缓存穿透
本文详细探讨了分布式系统和缓存应用中的经典问题——缓存穿透。缓存穿透是指用户请求的数据在缓存和数据库中都不存在,导致大量请求直接落到数据库上,可能引发数据库崩溃或性能下降。文章介绍了几种有效的解决方案,包括接口层增加校验、缓存空值、使用布隆过滤器、优化数据库查询以及加强监控报警机制。通过这些方法,可以有效缓解缓存穿透对系统的影响,提升系统的稳定性和性能。
|
4月前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
4月前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
125 4
【赵渝强老师】基于Redis的旁路缓存架构