Redis缓存常见问题之预热、雪崩、击穿、穿透
缓存预热
假设mysql有100条新数据,redis无
1 比较懒,什么都不做,之前对mysql做了数据新增,利用redis的回写机制,让它逐步实现100条新增记录的同步,最好提前晚上部署发布版本的时候,由自己人提前做一次,让redis同步了,不要把这个问题留给客户。
2 @PostConstruct初始化白名单数据,微服务启动的时候进行初始化
缓存雪崩
发生
redis主机挂了,Redis全盘崩溃,偏硬件运维
redis中有大量key同时国企大面积失效,偏软件开发
预防+解决
- redis中key设置为永不过期 or 过期时间错开
- redis缓存集群实现高可用
- 多级缓存结合预防雪崩:本地缓存 + redis缓存
- 服务降级:Sentinel限流降级策略
缓存穿透
请求去查询一条记录,先插redis无,后查mysql无,都查询不到该条记录,但是请求每次都会打到数据库上面去,导致后台数据库压力暴增,这种现象我们成为缓存穿透,这个redis变成了一个摆设。
简单说就是,本来无一物,两库都没有,机不再redis缓存库,也不再mysql,数据库存在被多次暴击风险。
解决
方案一:空对象缓存或者缺省值
第一种解决方案,回写增强
如果发生了缓存穿透,我们可以针对要查询的数据,在Redis里存一个和业务部门商量后确定的缺省值(比如,零、负数、defaultNull等)。
比如,键uid:abcdxxx,值defaultNull作为案例的key和value
先去redis查键uid:abcdxxx没有,再去mysql查没有获得 ,这就发生了一次穿透现象。
but,可以增强回写机制
mysql也查不到的话也让redis存入刚刚查不到的key并保护mysql。
第一次来查询uid:abcdxxx,redis和mysql都没有,返回null给调用者,但是增强回写后第二次来查uid:abcdxxx,此时redis就有值了。
可以直接从Redis中读取default缺省值返回给业务应用程序,避免了把大量请求发送给mysql处理,打爆mysql。
但是,此方法架不住黑客的恶意攻击,有缺陷…,只能解决key相同的情况
比如黑客或者恶意攻击:
黑客会对你的系统进行攻击,拿一个不存在的id去查询数据,会产生大量的请求到数据库去查询。可能会导致你的数据库由于压力过大而宕机。
key相同打你系统:第一次打到mysql,空对象缓存后第二次返回defaultNull缺省值,避免mysql被攻击,不用再到数据库中去走一圈了。
key不同打你系统:由于存在空对象缓存和缓存回写,redis中的无关紧要的key也会越写越多(记得设置redis的过期时间)
方案2:Google布隆过滤器Guava解决缓存穿透
白名单过滤器
存在误判问题,但是概率下可以接受,缺点是不能从布隆过滤器删除
全部合法的key都需要放入Guava版布隆过滤器 + redis里面,不然数据就返回null
Coding实战
<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>23.0</version> </dependency>
@Test public void testGuavaWithBloomFilter() { // 创建布隆过滤器对象 BloomFilter<Integer> filter = BloomFilter.create(Funnels.integerFunnel(), 100); // 判断指定元素是否存在 System.out.println(filter.mightContain(1)); System.out.println(filter.mightContain(2)); // 将元素添加进布隆过滤器 filter.put(1); filter.put(2); System.out.println(filter.mightContain(1)); System.out.println(filter.mightContain(2)); }
对比redis的实现,其解耦性做的非常的好,不需要与redis交互
GuavaBloomFilterService
@Service @Slf4j public class GuavaBloomFilterService{ public static final int _1W = 10000; //布隆过滤器里预计要插入多少数据 public static int size = 100 * _1W; //误判率,它越小误判的个数也就越少(思考,是不是可以设置的无限小,没有误判岂不更好) //fpp the desired false positive probability public static double fpp = 0.03; // 构建布隆过滤器 private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size,fpp); public void guavaBloomFilter(){ //1 先往布隆过滤器里面插入100万的样本数据 for (int i = 1; i <=size; i++) { bloomFilter.put(i); } //故意取10万个不在过滤器里的值,看看有多少个会被认为在过滤器里 List<Integer> list = new ArrayList<>(10 * _1W); for (int i = size+1; i <= size + (10 *_1W); i++) { if (bloomFilter.mightContain(i)) { log.info("被误判了:{}",i); list.add(i); } } log.info("误判的总数量::{}",list.size()); } }
取样本100W数据,查查不在100W范围内,其它10W数据是否存在?
现在总共有10万数据是不存在的,误判了3033次,
原始样本:100W
不存在数据:1000001W—1100000W
前面提到了误判率,通过debug发现
也就是说误判率越小,要求精度越高,需要用的资源也就越多,hash函数也就越来越多。
当设置为非常小的值的时候
缺点是数据量太大,加载很慢,资源消耗很大
加入说什么都不写,默认就是0.03
说明
思考问题:黑名单的使用
缓存穿透
大量的请求同时查询一个key时,此时这个key正好失效了,就会导致大量的请求都达到数据库上面去
简单地说就是热点key突然失效了,暴打mysql
危害
会造成某一时刻数据库请求量过大,压力暴增。
一般技术部门需要知道热点key时那些个?做到心里有数防止被击穿
解决
热点key失效:时间到了自然清楚但还被访问到,delete掉的key,刚巧又被访问
方案一:差异失效时间,对于访问频繁的热点key,干脆就不设置过期时间
方案二:互斥更新,采用双检加锁策略
多个线程同时去查询数据库的这条数据,那么我们可以在第一个查询数据的请求上使用一个 互斥锁来锁住它。
其他的线程走到这一步拿不到锁就等着,等第一个线程查询到了数据,然后做缓存。后面的线程进来发现已经有缓存了,就直接走缓存。
案例
天猫聚划算功能 + 防止缓存击穿
存在问题就是热点key突然失效导致了缓存击穿
步骤 | 说明 |
1 | 100%高并发,绝对不可以用mysql实现 |
2 | 先把mysql里面参加活动的数据抽取进redis,一般采用定时器扫描来决定上线活动还是下线取消。 |
3 | 支持分页功能,一页20条记录 |
coding
@Data @AllArgsConstructor @NoArgsConstructor @ApiModel(value = "聚划算活动producet信息") public class Product { //产品ID private Long id; //产品名称 private String name; //产品价格 private Integer price; //产品详情 private String detail; }
// 采用定时器将参与聚划算活动的特价商品新增进入redis @Service @Slf4j public class JHSTaskService { public static final String JHS_KEY="jhs"; public static final String JHS_KEY_A="jhs:a"; public static final String JHS_KEY_B="jhs:b"; @Autowired private RedisTemplate redisTemplate; /** * 偷个懒不加mybatis了,模拟从数据库读取100件特价商品,用于加载到聚划算的页面中 * @return */ private List<Product> getProductsFromMysql() { List<Product> list=new ArrayList<>(); for (int i = 1; i <=20; i++) { Random rand = new Random(); int id= rand.nextInt(10000); Product obj=new Product((long) id,"product"+i,i,"detail"); list.add(obj); } return list; } @PostConstruct public void initJHS(){ log.info("启动定时器淘宝聚划算功能模拟.........."+ DateUtil.now()); new Thread(() -> { //模拟定时器一个后台任务,定时把数据库的特价商品,刷新到redis中 while (true){ //模拟从数据库读取100件特价商品,用于加载到聚划算的页面中 List<Product> list=this.getProductsFromMysql(); //采用redis list数据结构的lpush来实现存储 this.redisTemplate.delete(JHS_KEY); //lpush命令 this.redisTemplate.opsForList().leftPushAll(JHS_KEY,list); //间隔一分钟 执行一遍,模拟聚划算每3天刷新一批次参加活动 try { TimeUnit.MINUTES.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); } log.info("runJhs定时刷新.............."); } },"t1").start(); } }
至此一个聚划算的基本功能就算是实现了,但是在高并发的场景下会有什么经典生产问题呢?
Bug和隐患说明
两条命令的原子性还是其次,主要是防止热key突然失效暴击mysql打爆系统
进一步解决
多个线程同时去查询数据库的这条数据,那么我们可以在第一个查询数据的请求上使用一个 互斥锁来锁住它。
其他的线程走到这一步拿不到锁就等着,等第一个线程查询到了数据,然后做缓存。后面的线程进来发现已经有缓存了,就直接走缓存。
差异失效时间
两份缓存,过期时间不一致
@Service @Slf4j public class JHSTaskService { public static final String JHS_KEY="jhs"; public static final String JHS_KEY_A="jhs:a"; public static final String JHS_KEY_B="jhs:b"; @Autowired private RedisTemplate redisTemplate; /** * 偷个懒不加mybatis了,模拟从数据库读取100件特价商品,用于加载到聚划算的页面中 * @return */ private List<Product> getProductsFromMysql() { List<Product> list=new ArrayList<>(); for (int i = 1; i <=20; i++) { Random rand = new Random(); int id= rand.nextInt(10000); Product obj=new Product((long) id,"product"+i,i,"detail"); list.add(obj); } return list; } //@PostConstruct public void initJHS(){ log.info("启动定时器淘宝聚划算功能模拟.........."+ DateUtil.now()); new Thread(() -> { //模拟定时器,定时把数据库的特价商品,刷新到redis中 while (true){ //模拟从数据库读取100件特价商品,用于加载到聚划算的页面中 List<Product> list=this.getProductsFromMysql(); //采用redis list数据结构的lpush来实现存储 this.redisTemplate.delete(JHS_KEY); //lpush命令 this.redisTemplate.opsForList().leftPushAll(JHS_KEY,list); //间隔一分钟 执行一遍 try { TimeUnit.MINUTES.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); } log.info("runJhs定时刷新.............."); } },"t1").start(); } @PostConstruct public void initJHSAB(){ log.info("启动AB定时器计划任务淘宝聚划算功能模拟.........."+DateUtil.now()); new Thread(() -> { //模拟定时器,定时把数据库的特价商品,刷新到redis中 while (true){ //模拟从数据库读取100件特价商品,用于加载到聚划算的页面中 List<Product> list=this.getProductsFromMysql(); //先更新B缓存 this.redisTemplate.delete(JHS_KEY_B); this.redisTemplate.opsForList().leftPushAll(JHS_KEY_B,list); this.redisTemplate.expire(JHS_KEY_B,20L,TimeUnit.DAYS); //再更新A缓存 this.redisTemplate.delete(JHS_KEY_A); this.redisTemplate.opsForList().leftPushAll(JHS_KEY_A,list); this.redisTemplate.expire(JHS_KEY_A,15L,TimeUnit.DAYS); //间隔一分钟 执行一遍 try { TimeUnit.MINUTES.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); } log.info("runJhs定时刷新双缓存AB两层.............."); } },"t1").start(); } }
@RestController @Slf4j @Api(tags = "聚划算商品列表接口") public class JHSProductController { public static final String JHS_KEY="jhs"; public static final String JHS_KEY_A="jhs:a"; public static final String JHS_KEY_B="jhs:b"; @Autowired private RedisTemplate redisTemplate; /** * 分页查询:在高并发的情况下,只能走redis查询,走db的话必定会把db打垮 * @param page * @param size * @return */ @RequestMapping(value = "/pruduct/find",method = RequestMethod.GET) @ApiOperation("按照分页和每页显示容量,点击查看") public List<Product> find(int page, int size) { List<Product> list=null; long start = (page - 1) * size; long end = start + size - 1; try { //采用redis list数据结构的lrange命令实现分页查询 list = this.redisTemplate.opsForList().range(JHS_KEY, start, end); if (CollectionUtils.isEmpty(list)) { //TODO 走DB查询 } log.info("查询结果:{}", list); } catch (Exception ex) { //这里的异常,一般是redis瘫痪 ,或 redis网络timeout log.error("exception:", ex); //TODO 走DB查询 } return list; } @RequestMapping(value = "/pruduct/findab",method = RequestMethod.GET) @ApiOperation("防止热点key突然失效,AB双缓存架构") public List<Product> findAB(int page, int size) { List<Product> list=null; long start = (page - 1) * size; long end = start + size - 1; try { //采用redis list数据结构的lrange命令实现分页查询 list = this.redisTemplate.opsForList().range(JHS_KEY_A, start, end); if (CollectionUtils.isEmpty(list)) { log.info("=========A缓存已经失效了,记得人工修补,B缓存自动延续5天"); //用户先查询缓存A(上面的代码),如果缓存A查询不到(例如,更新缓存的时候删除了),再查询缓存B this.redisTemplate.opsForList().range(JHS_KEY_B, start, end); //TODO 走DB查询 } log.info("查询结果:{}", list); } catch (Exception ex) { //这里的异常,一般是redis瘫痪 ,或 redis网络timeout log.error("exception:", ex); //TODO 走DB查询 } return list; } }