Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁

Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁

Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁📜 缓存雪崩📘解释:📒解决方法:🔖ps:缓存预热📖缓存击穿📅解释:📚解决方法🧣缓存穿透📌解释:🖥️解决方法:🖊️最后总结

📜 缓存雪崩

📘解释:

大量缓存数据同一时间过期或者redis故障时,此时大量用户请求直接打到数据库,造成数据库宕机

📒解决方法:

  1. 过期时间增加随机数
  2. 互斥锁,
    当发现数据不在redis中时 加一个互斥锁,保证同一时间只有一个请求构建缓存,如果其他请求未获取到锁则等待或者返回空值,注意等待需要设置超时时间,不然如果出现第一个请求获取锁之后一直阻塞,导致其他请求一直获取不到锁。

importcom.baomidou.mybatisplus.extension.service.impl.ServiceImpl;

importcom.company.dubbodemo.entity.User;

importcom.company.dubbodemo.mapper.UserMapper;

importcom.company.dubbodemo.service.UserService;

importorg.redisson.api.RLock;

importorg.redisson.api.RedissonClient;

importorg.springframework.cache.annotation.Cacheable;

importorg.springframework.stereotype.Service;

importjavax.annotation.Resource;

@Service

publicclassUserServiceImplextendsServiceImpl<UserMapper, User>

       implementsUserService {

   

   @Resource

   privateRedissonClientredissonClient;

   

   @Resource

   privateUserMapperuserMapper;

   

   @Override

   // 一定要设置sync = true开启异步,否则会导致多个线程同时获取到锁

   @Cacheable(cacheNames="user", key="#id", sync=true)

   publicUserfindById(Longid) {

       /**

        *

        * 加了@Cacheable之后方法体执行说明缓存中不存在所查询的数据

        * 获取一把锁,只要锁的名字一样,就是同一把锁

        */

   

       /**

        * 注意: 设置了lock.lock(10,TimeUnit.SECONDS) 锁过期不会自动续期

        *      1、如果我们传递了锁的过期时间,就发送给redis执行脚本,进行占锁,默认超时就是我们指定的时间

        *      2、如果没有指定锁的超时时间,就使用30000L(LockWatchdogTimeout 看门狗的默认时间)

        *      可通过RedissonConfig-->getRedissonClient()-->config.setLockWatchdogTimeout()设置看门狗时间

        *         只要占锁成功就会启动一个定时任务【就会重新给锁设置过期时间,新的时间就是看门狗的默认时间】,每隔10s都会自动续期,续期成30s

        * 看门狗机制

        * 1、锁的自动续期,如果业务超长,运行期间自动给锁续上新的30s。不用担心因为业务时间长,锁自动过期被删除

        * 2、加锁的业务只要运行完成,就不会给当前锁续期,即使不手动解锁,锁默认在30s以后自动删除

        *

        */

       RLocklock=redissonClient.getLock("redissonClient-lock");

   

       // 对第一个线程执行方法体的线程加锁,加了@Cacheable,方法执行之后会将方法的返回值存入缓存,下一个线程直接读取缓存

       lock.lock(10,TimeUnit.SECONDS);

       Useruser=newUser();

       try {

           user=userMapper.selectById(id);

       } catch (Exceptione) {

           e.printStackTrace();

       } finally {

           lock.unlock();

       }

       returnuser;

   }

}

  1. 双key策略
    缓存数据设置两个key 一个为主key (设置过期时间) 一个为从key(时间设置比主key长一些,例如多5天),虽然key不同,但value一样
    当业务线程访问不到主key时 则直接返回从key的数据,同时更新主key和从key
  2. 设置缓存永久有效后台定时更新缓存
    不设置缓存的有效时间,让他永久有效,并将更新缓存的工作交由后台线程定时更新。
    虽然缓存数据不设置有效期,但是缓存也不会一直存在redis中,因为当内存紧张时,redis会自动淘汰某些key
    定时更新缓存
    方式一
    创建一个定时任务,定时监测某些key是否失效,如果失效则重新加载
    方式二
    业务线程发现缓存失效后,发送mq消息去执行重新加载缓存

🔖ps:缓存预热

当启动系统后可以检查某些key是否存在redis中,如果不存在则进行重新加载,缓存预热是使用缓存的一个优化技巧

📖缓存击穿

📅解释:

某个热点缓存,在某一时刻恰好失效了,然后此时刚好有大量的并发请求,此时这些请求将会给数据库造成巨大的压力,这种情况就叫做缓存击穿

Ps:缓存击穿和缓存穿透经常记错,这里有一个小技巧

只需要记住一击必中这个成语;  热点key一般比较少 比作一 ;这样就可以联想记忆到缓存击穿就是热点key失效问题

📚解决方法

  1. 加锁排队
    和缓存雪崩的加锁处理方式一致,再查数据库时进行加锁,缓冲大量请求。
  2. 热点key设置永不过期

对于某些热点缓存,我们可以设置永不过期,这样就能保证缓存的稳定性,但需要注意在数据更改之后,要及时更新此热点缓存,不然就会造成查询结果的误差

🧣缓存穿透

📌解释:

用户访问的数据既不在缓存中也不在数据库中;当出现大量这种请求后,数据库的压力骤增,可能被直接打穿;这种操作发生情况主要有两种

1.业务误操作,缓存中的数据和数据库中的数据都被误删除了,所以导致缓存和数据库中都没有数据;

2.黑客恶意攻击

🖥️解决方法:

  1. 增加黑名单与白名单,限制某些恶意ip访问
  2. 缓存空值或者默认值,当缓存与数据库都没有查询到时,直接返回空值
  3. 增加布隆过滤器

importcom.google.common.hash.BloomFilter;

importcom.google.common.hash.Funnels;

/**

* 布隆过滤器

*/

publicclassBloomFilterTest {

   /**

    * @param expectedInsertions 预期插入值

    *                           这个值的设置相当重要,如果设置的过小很容易导致饱和而导致误报率急剧上升,如果设置的过大,也会对内存造成浪费,所以要根据实际情况来定

    * @param fpp                误差率,例如:0.001,表示误差率为0.1%

    * @return 返回true,表示可能存在,返回false一定不存在

    */

   publicstaticbooleanisExist(intexpectedInsertions, doublefpp) {

       // 创建布隆过滤器对象

       BloomFilter<Integer>filter=BloomFilter.create(Funnels.integerFunnel(), 500, 0.01);

       // 判断指定元素是否存在

       System.out.println(filter.mightContain(10));

       // 将元素添加进布隆过滤器

       filter.put(10);

       // 再判断指定元素是否存在

       System.out.println(filter.mightContain(10));

       returnfilter.mightContain(10);

   }

   //主类中进行测试

   publicstaticvoidmain(String[] args) {

       booleanexist=isExist(100000000, 0.001);

   }

}

🖊️最后总结

🖲要熟练掌握技巧,一定多多坚持练习:骐骥一跃,不能十步;驽马十驾,功在不舍


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
20天前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
164 85
|
17天前
|
缓存 监控 NoSQL
Redis经典问题:缓存穿透
本文详细探讨了分布式系统和缓存应用中的经典问题——缓存穿透。缓存穿透是指用户请求的数据在缓存和数据库中都不存在,导致大量请求直接落到数据库上,可能引发数据库崩溃或性能下降。文章介绍了几种有效的解决方案,包括接口层增加校验、缓存空值、使用布隆过滤器、优化数据库查询以及加强监控报警机制。通过这些方法,可以有效缓解缓存穿透对系统的影响,提升系统的稳定性和性能。
|
2月前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
2月前
|
缓存 NoSQL 数据库
缓存穿透、缓存击穿和缓存雪崩及其解决方案
在现代应用中,缓存是提升性能的关键技术之一。然而,缓存系统也可能遇到一系列问题,如缓存穿透、缓存击穿和缓存雪崩。这些问题可能导致数据库压力过大,甚至系统崩溃。本文将探讨这些问题及其解决方案。
|
2月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
47 5
|
3月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
124 1
|
3月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
57 2
数据的存储--Redis缓存存储(二)
|
3月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
87 6
|
2月前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
【赵渝强老师】基于Redis的旁路缓存架构
|
2月前
|
缓存 NoSQL Redis
Redis 缓存使用的实践
《Redis缓存最佳实践指南》涵盖缓存更新策略、缓存击穿防护、大key处理和性能优化。包括Cache Aside Pattern、Write Through、分布式锁、大key拆分和批量操作等技术,帮助你在项目中高效使用Redis缓存。
363 22

相关产品

  • 云数据库 Tair(兼容 Redis)