Redis缓存更新策略与缓存穿透、雪崩等问题的解决

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 一、缓存更新策略1、三种策略内存淘汰:redis自带的内存淘汰机制过期淘汰:利用expire命令给数据设置过期时间主动更新:主动完成数据库和缓存的同时更新

一、缓存更新策略

1、三种策略

  • 内存淘汰:redis自带的内存淘汰机制
  • 过期淘汰:利用expire命令给数据设置过期时间
  • 主动更新:主动完成数据库和缓存的同时更新

2、策略选择

  • 低一致性需求:内存淘汰或过期淘汰
  • 高一致性需求:主动更新为主,过期淘汰兜底

3、主动更新的方案

  • Cache Aside:缓存调用者在更新数据库的同时完成对缓存的更新
  • 一致性良好
  • 实现难度一般
  • Read/Write Through:缓存与数据库成为一个服务,服务保证两者的一致性,对外暴露的API接口。调用者调用API,无需知道自己操作的数据库还是缓存,不关心一致性
  • 一致性优秀
  • 实现复杂
  • 性能一般
  • Write Back:缓存调用者的CRUD都针对缓存完成。由独立线程异步的将缓存写到数据库,实现最终一致
  • 一致性差
  • 性能好
  • 实现复杂

二、缓存存在的问题

1、缓存穿透

产生原因:客户端请求的数据在缓存和数据库中都不存在。当这种情况大量出现或被恶意攻击时,接口的访问全部透过Redis访问数据库,而数据库中也没有这些数据,我们称这种现象为"缓存穿透"。


解决方案:


  1. 缓存空对象:对于不存在的数据也在Redis建立缓存,值为空,设置一个较短的TTL时间
  • 优点:实现简单,维护方便
  • 缺点:额外消耗内存,短期的数据不一致

2.布隆过滤:利用布隆过滤算法,在请求Redis之前先判断是否存在,如果不存在则直接拒绝访问

  • 优点:内存占用少
  • 缺点:实现复杂,存在误判的可能性

3.其他方法:

  1. 做好数据的基础格式校验
  2. 加强用户权限校验
  3. 做好热点数据的限流


布隆过滤器:

一种数据结构,由一串很长的二进制向量组成,可以将其看成一个二进制数组。

当要向布隆过滤器中添加一个元素key时,我们通过多个hash函数,算出一个值,然后将这个值所在的方格置为1。

因为多个不同的数据通过hash函数算出来的结果是会有重复的,所以布隆过滤器可以判断某个数据一定不存在,但是无法判断一定存在。

优点:优点很明显,二进制组成的数组,占用内存极少,并且插入和查询速度都足够快。

缺点:随着数据的增加,误判率会增加;还有无法判断数据一定存在;另外还有一个重要缺点,无法删除数据。

2、缓存雪崩

产生原因:在同一时间段大量的缓存key同时失效或者Redis服务宕机,导致大量请求到达数据库,带来巨大压力

解决方案:

  1. 给不同的Key的TTL设置随机值
  2. 利用Redis集群提高服务的可用性
  3. 诶缓存业务添加降级限流策略
  4. 给业务添加多级缓存


3、缓存击穿

产生原因:热点Key在某一个时间段被高并发访问,而此时Key正好过期,如果重建缓存时间耗时长,在这段时间内大量请求剾数据库,带来巨大冲击

解决方案:

解决方案:

1.设置value永不过期:通过定时任务进行数据库查询更新缓存,当然前提时不会给数据库造成压力过大

  • 优点:最可靠,性能好
  • 缺点:占空间,内存消耗大,一致性差

2.互斥锁:给缓存重建过程加锁,确保重建过程只有一个线程执行,其他线程等待

  • 优点:实现简单,没有额外内存消耗,一致性好
  • 缺点:等待导致性能下降,有死锁风险

3.逻辑过期:热点Key缓存永不过期,认识设置一个逻辑过期时间,查询到数据时通过对逻辑时间判断,来决定是否需要进行缓存重建。重建过程也通过互斥锁来保证单线程执行。利用独立线程异步执行,其他线程无需等待,直接查询到旧的数据即可。

  • 优点:线程无需等待,性能较好
  • 缺点:不保证一致性,有额外内存消耗,实现复杂
private final RedisTemplate<String, String> redisTemplate;
private static final ExecutorService CACHE_REBUILD_EXECUTOR = new ThreadPoolExecutor(10, 10, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue<>(20), r -> new Thread(r, "cache_rebuild"));
public CacheClient(RedisTemplate<String, String> redisTemplate) {
    this.redisTemplate = redisTemplate;
}
public void setWithLogicalExpire(String key, Object value, Long expireTime, TimeUnit unit) {
    // 设置逻辑过期时间
    RedisData redisData = new RedisData();
    redisData.setValue(value);
    redisData.setExpireTime(LocalDateTime.now().plusNanos(unit.toNanos(expireTime)));
    redisTemplate.opsForValue().set(key, JSON.toJSONString(redisData));
}
/**
 * 逻辑过期,互斥锁获取值,用于避免热点数据出现缓存击穿
 */
public <R, V> R getMutex(String keyPrefix, V id, Class<R> clazz, Function<V, R> dbFallback, Long expireTime, TimeUnit unit) {
    String key = keyPrefix + id;
    String value = redisTemplate.opsForValue().get(key);
    if (StringUtils.isBlank(value)) {
        return null;
    }
    RedisData redisData = JSON.parseObject(value, RedisData.class);
    R result = JSONUtil.toBean((JSONObject) redisData.getValue(), clazz);
    if (redisData.getExpireTime().isAfter(LocalDateTime.now())) {
        return result;
    }
    // 如果缓存已过期,则尝试更新
    String localKey = RedisConstant.LOCK + id;
    // 获取锁成功
    if (getLock(localKey)) {
        // 异步更新缓存
        CACHE_REBUILD_EXECUTOR.submit(
            () -> {
                try {
                    R res = dbFallback.apply(id);
                    this.setWithLogicalExpire(key, res, expireTime, unit);
                } catch (Exception e) {
                    throw new RuntimeException(e);
                } finally {
                    unLock(localKey);
                }
            }
        );
    }
    return result;
}
private boolean getLock(String key) {
    // 直接返回会进行自动拆箱,可能会出现空指针异常
    return Boolean.TRUE.equals(redisTemplate.opsForValue().setIfAbsent(key, "1"));
}
private void unLock(String key) {
    redisTemplate.delete(key);
}

三、解决缓存问题

1、自定义分布式锁

/**
 * <pre>
 * 简易实现的Redis分布式锁
 * </pre>
 *
 * @author <a href="https://github.com/Ken-Chy129">Ken-Chy129</a>
 * @date 2023/2/26 21:18
 */
public class SimpleRedisLock {
    private final RedisTemplate<String, String> redisTemplate;
    /**
    锁的名字,根据业务设置
     */
    private final String lockName;
    /**
     * key前缀
     */
    private static final String KEY_PREFIX = "lock:";
    /**
     * value中线程标识的前缀(为每个节点提供一个随机的前缀,避免集群部署下线程id出现重复而导致value出现相同的情况)
     */
    private static final String ID_PREFIX = UUID.fastUUID().toString(true);
    /**
     * 释放锁逻辑的lua脚本
     */
    private static final DefaultRedisScript<Long> UNLOCK_SCRIPT;
    static {
        UNLOCK_SCRIPT = new DefaultRedisScript<>();
        UNLOCK_SCRIPT.setLocation(new ClassPathResource("unlock.lua"));
        UNLOCK_SCRIPT.setResultType(Long.class);
    }
    public SimpleRedisLock(String lockName, RedisTemplate<String, String> redisTemplate) {
        this.lockName = lockName;
        this.redisTemplate = redisTemplate;
    }
    public boolean tryLock(long timeoutSec) {
        long threadId = Thread.currentThread().getId();
        // 返回的是Boolean类型,直接return会进行自动拆箱,可能会出现空指针异常
        // 需要为锁设置过期时间,防止因服务宕机而导致锁无法释放
        return Boolean.TRUE.equals(redisTemplate.opsForValue().setIfAbsent(KEY_PREFIX + lockName, ID_PREFIX + threadId, timeoutSec, TimeUnit.SECONDS));
    }
    public void unlock() {
        redisTemplate.execute(
                UNLOCK_SCRIPT,
                Collections.singletonList(KEY_PREFIX + lockName),
                ID_PREFIX + Thread.currentThread().getId()
        );
    }
}

Lua脚本——unlock.lua

--- 比较线程标识与锁中的标识是否一致
if(redis.call('get', KEYS[1]) == ARGS[1]) then
    --- 释放锁
    return redis.call('del', KEYS[1])
end
return 0

使得释放锁的操作具有原子性

Redis是单线程处理,本身不会存在并发问题,但是由于可能有多个客户端访问,每个客户端会有一个线程,之间存在竞争,所以服务端收到的指令有可能出现多个客户端的指令穿插,而lua脚本可以保证多条指令的原子性从而解决并发问题


2、解决缓存穿透问题

/**
 * 避免缓存穿透的获取
 */
public <R, V> R get(String keyPrefix, V id, Class<R> clazz, Function<V, R> dbFallback, Long expireTime, TimeUnit unit) {
    String key = keyPrefix + id;
    // 查询缓存
    String value = redisTemplate.opsForValue().get(key);
    // 缓存存在则直接返回
    if (StringUtils.isNotBlank(value)) {
        return JSON.parseObject(value, clazz);
    }
    // 缓存不存在(到此处说明value要么是空,要么是null)
    if (value != null) {
        // 不为null则说明为“”,代表数据不存在,直接返回null,不用查询数据库(解决缓存穿透问题)
        return null;
    }
    // value为null则查询数据库获取数据进行更新
    R result = dbFallback.apply(id);
    if (result == null) {
        // 数据库查询不到结果,则存入空串避免缓存穿透
        redisTemplate.opsForValue().set(key, "", RedisConstant.CACHE_NULL_TTL, TimeUnit.MINUTES);
        return null;
    }
    // 查询到结果,写回缓存
    this.set(key, result, expireTime, unit);
    return result;
}

3、解决缓存击穿问题

/**
 * 逻辑过期,互斥锁获取值,用于避免热点数据出现缓存击穿
 */
public <R, V> R getMutex(String keyPrefix, V id, Class<R> clazz, Function<V, R> dbFallback, Long expireTime, TimeUnit unit) {
    String key = keyPrefix + id;
    String value = redisTemplate.opsForValue().get(key);
    if (StringUtils.isBlank(value)) {
        return null;
    }
    RedisData redisData = JSON.parseObject(value, RedisData.class);
    R result = JSONUtil.toBean((JSONObject) redisData.getValue(), clazz);
    if (redisData.getExpireTime().isAfter(LocalDateTime.now())) {
        return result;
    }
    // 如果缓存已过期,则获取锁尝试更新
    SimpleRedisLock lock = new SimpleRedisLock(key, redisTemplate);
    // 获取锁成功
    if (lock.tryLock(5)) {
        // 异步更新缓存
        CACHE_REBUILD_EXECUTOR.submit(
                () -> {
                    try {
                        R res = dbFallback.apply(id);
                        this.setWithLogicalExpire(key, res, expireTime, unit);
                    } catch (Exception e) {
                        throw new RuntimeException(e);
                    } finally {
                        lock.unlock();
                    }
                }
        );
    }
    return result;
}
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
27天前
|
NoSQL Redis
Redis的数据淘汰策略有哪些 ?
Redis 提供了 8 种数据淘汰策略,分为淘汰易失数据和淘汰全库数据两大类。易失数据淘汰策略包括:volatile-lru、volatile-lfu、volatile-ttl 和 volatile-random;全库数据淘汰策略包括:allkeys-lru、allkeys-lfu 和 allkeys-random。此外,还有 no-eviction 策略,禁止驱逐数据,当内存不足时新写入操作会报错。
55 16
|
26天前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
27天前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
【赵渝强老师】基于Redis的旁路缓存架构
|
20天前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
36 5
|
27天前
|
存储 NoSQL Redis
Redis的数据过期策略有哪些 ?
Redis 采用两种过期键删除策略:惰性删除和定期删除。惰性删除在读取键时检查是否过期并删除,对 CPU 友好但可能积压大量过期键。定期删除则定时抽样检查并删除过期键,对内存更友好。默认每秒扫描 10 次,每次检查 20 个键,若超过 25% 过期则继续检查,单次最大执行时间 25ms。两者结合使用以平衡性能和资源占用。
44 11
|
1月前
|
缓存 NoSQL 中间件
redis高并发缓存中间件总结!
本文档详细介绍了高并发缓存中间件Redis的原理、高级操作及其在电商架构中的应用。通过阿里云的角度,分析了Redis与架构的关系,并展示了无Redis和使用Redis缓存的架构图。文档还涵盖了Redis的基本特性、应用场景、安装部署步骤、配置文件详解、启动和关闭方法、systemctl管理脚本的生成以及日志警告处理等内容。适合初学者和有一定经验的技术人员参考学习。
158 7
|
缓存 NoSQL Java
Redis缓存穿透、缓存雪崩、redis并发问题分析
把redis作为缓存使用已经是司空见惯,但是使用redis后也可能会碰到一系列的问题,尤其是数据量很大的时候,经典的几个问题如下: (一)缓存和数据库间数据一致性问题 分布式环境下(单机就不用说了)非常容易出现缓存和数据库间的数据一致性问题,针对这一点的话,只能说,如果你的项目对缓存的要求是强一致性的,那么请不要使用缓存。
1883 0
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
93 1
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
51 2
数据的存储--Redis缓存存储(二)
|
2月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
78 6