基于SpringBoot+Redis解决缓存与数据库一致性、缓存穿透、缓存雪崩、缓存击穿问题

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 这篇文章讨论了在使用SpringBoot和Redis时如何解决缓存与数据库一致性问题、缓存穿透、缓存雪崩和缓存击穿问题,并提供了相应的解决策略和示例代码。

前言

缓存是一种将数据存储在临时存储器中的技术,以便在需要时能够快速访问该数据。缓存的重要性在于它可以提高系统的性能和响应速度,减轻服务器的负载,节省网络带宽和资源消耗。因此掌握缓存技术是挺重要的哦。

一、缓存之数据库一致性问题

1.删除缓存还是更新缓存?
(1)更新缓存:每次的更新数据库都更新缓存,无效的写操作较多。No
(2)删除缓存:在更新数据库时让缓存失效,查询时再更新缓存。Yes

2.如何保证缓存和数据库的操作同时成功或同时失败?
(1)单体应用:在同一个事务中执行。
(2)分布式系统:使用分布式事务来实现。

3.先操作缓存还是先操作数据库?
先删除缓存,再操作数据库。

二、缓存穿透

1.概念
在缓存中,一个不存在的key被频繁请求,导致每次请求都需要查询数据库,影响系统性能。

2.解决
(1)布隆过滤器:将查询不存在的数据的请求拦截在缓存层之前;或者将查询不存在的数据的请求返回一个默认值,避免直接查询数据库。
(2)使用互斥锁重建缓存:在缓存失效的时候,使用互斥锁来保证只有一个线程去查询数据库并重建缓存,其他线程等待缓存重建完成后再去获取缓存数据。

三、缓存雪崩

1.概念
在缓存中,大量的key在同一时间失效,导致请求直接打到数据库,造成数据库瞬时压力过大,甚至宕机。

2.解决
(1)缓存数据的过期时间随机化:将缓存数据的过期时间进行随机化,避免大量缓存同时失效。
(2)多级缓存:将缓存分为多个层级,如本地缓存、分布式缓存、CDN缓存等,避免单一缓存出现问题导致雪崩。
(2)使用互斥锁重建缓存:在缓存失效的时候,使用互斥锁来保证只有一个线程去查询数据库并重建缓存,其他线程等待缓存重建完成后再去获取缓存数据。

四、缓存击穿

1.概念
在缓存中,某个热点key过期或被删除,导致大量请求直接打到数据库,造成数据库瞬时压力过大,甚至宕机。

2.解决
(1)设置热点数据永不过期:将热点数据设置成永不过期,但是随之而来的就是Redis需要更多的存储空间。
(2)数据预热:在系统启动、请求低峰期,缓存过期前的时候,将常用的数据预先加载到缓存中,避免在高峰期出现大量请求导致缓存失效的情况。
(3)使用互斥锁重建缓存:在缓存失效的时候,使用互斥锁来保证只有一个线程去查询数据库并重建缓存,其他线程等待缓存重建完成后再去获取缓存数据。

五、示例代码

1.控制层

(1)ProductController.java

package org.example.controller;

import cn.hutool.core.util.BooleanUtil;
import cn.hutool.core.util.StrUtil;
import cn.hutool.json.JSONUtil;
import org.example.pojo.dto.ProductDTO;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.*;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;

@Controller
@RequestMapping(value = "api")
public class ProductController {
   

    private static final String PRODUCT_LIST_KEY = "Product-List";
    private static final String PRODUCT_KEY = "Product-";
    private static final int PRODUCT_CACHE_TTL = 300;
    private static final int PRODUCT_NULL_TTL = 60;
    private static final String PRODUCT_LOCK_KEY = "Product-Lock-";

    @Autowired
    private StringRedisTemplate stringRedisTemplate;

    // 初始化固定大小为10的线程池
    private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);

    /**
     * 查询商品列表(解决缓存穿透问题,除了返回空对象,还需互斥锁重建缓存)
     */
    @GetMapping(value = "queryProductList")
    @ResponseBody
    @CrossOrigin
    public <T> T queryProductList() {
   
        HashMap<String, Object> responseObj = new HashMap<>();
        // 查询商品缓存列表
        List<String> productCacheList =  stringRedisTemplate.opsForList().range(PRODUCT_LIST_KEY, 0, -1);
        // 是否命中缓存
        if (!productCacheList.isEmpty()) {
   
            // 已命中
            List<ProductDTO> list = new ArrayList<>();
            for (String s : productCacheList) {
   
                ProductDTO productDTO = JSONUtil.toBean(s, ProductDTO.class);
                list.add(productDTO);
            }
            responseObj.put("code", 200);
            responseObj.put("success", true);
            responseObj.put("data", list);
            System.out.println("queryProductList :: 已命中 -> " + list);
            return (T) responseObj;
        } else {
   
            // 未命中,模拟查询数据库并返回结果集,存入缓存
            List<ProductDTO> list = new ArrayList<>();
            list.add(new ProductDTO(1L, "面包", 5));
            list.add(new ProductDTO(2L, "牛奶", 3));
            list.add(new ProductDTO(3L, "苹果", 2));
            list.add(new ProductDTO(4L, "香蕉", 2));
            for (ProductDTO productDTO : list){
   
                String s = JSONUtil.toJsonStr(productDTO);
                productCacheList.add(s);
            }
            stringRedisTemplate.opsForList().rightPushAll(PRODUCT_LIST_KEY, productCacheList);
            responseObj.put("code", 200);
            responseObj.put("success", true);
            responseObj.put("data", list);
            System.out.println("queryProductList :: 未命中 -> " + list);
            return (T) responseObj;
        }
    }

    /**
     * 根据ID查询商品(解决缓存穿透问题,除了返回空对象,还需互斥锁重建缓存)
     * {
     *     "id": 1
     * }
     */
    @PostMapping(value = "queryProductById")
    @ResponseBody
    @CrossOrigin
    public <T> T queryProductById(@RequestBody HashMap<String, Object> data) {
   
        HashMap<String, Object> responseObj = new HashMap<>();
        Long id = 1L;
        String key = PRODUCT_KEY + id;

        // 查询商品缓存
        String productCache = stringRedisTemplate.opsForValue().get(key);
        System.out.println("queryProductById :: productCache -> " + productCache);
        // 是否命中缓存
        if (productCache != null) {
   
            // 已命中
            ProductDTO productDTO = null;
            if (!productCache.equals("")) {
   
                productDTO = JSONUtil.toBean(productCache, ProductDTO.class);
            }
            responseObj.put("code", 200);
            responseObj.put("success", true);
            responseObj.put("data", productDTO);
            System.out.println("queryProductById :: 已命中 -> " + productDTO);
            return (T) responseObj;
        } else {
   
            // 未命中,模拟查询数据库并返回结果集,存入缓存
            ProductDTO productDTO = null;
            productDTO = new ProductDTO(1L, "面包", 5);
            if (productDTO == null) {
   
                // 若数据库查询也是空,则直接缓存空对象
                stringRedisTemplate.opsForValue().set(key,"", PRODUCT_NULL_TTL, TimeUnit.MINUTES);
            } else {
   
                // 若数据库查询非空,则缓存非空对象
                stringRedisTemplate.opsForValue().set(key,JSONUtil.toJsonStr(productDTO), PRODUCT_CACHE_TTL, TimeUnit.MINUTES);
            }
            responseObj.put("code", 200);
            responseObj.put("success", true);
            responseObj.put("data", productDTO);
            System.out.println("queryProductById :: 未命中 -> " + productDTO);
            return (T) responseObj;
        }
    }

    /**
     * 根据ID更新商品(先更新数据库再删除缓存)
     * {
     *     "id": 1,
     *     "name": "美味的面包"
     *     "price": 1
     * }
     */
    @PostMapping(value = "updateProductById")
    @ResponseBody
    @CrossOrigin
    public <T> T updateProductById(@RequestBody HashMap<String, Object> data) {
   
        HashMap<String, Object> responseObj = new HashMap<>();
        // 模拟更新数据库
        // xxxService.updateProductById(data)
        // 删除商品缓存
        Long id = 1L;
        stringRedisTemplate.delete(PRODUCT_KEY + id);
        stringRedisTemplate.delete(PRODUCT_LIST_KEY);
        responseObj.put("code", 200);
        responseObj.put("success", true);
        return (T) responseObj;
    }

    /**
     * 根据ID查询商品(解决缓存击穿问题,互斥锁重建缓存)
     * {
     *     "id": 1
     * }
     */
    @PostMapping(value = "queryProductByIdPlus")
    @ResponseBody
    @CrossOrigin
    public <T> T queryProductByIdPlus(@RequestBody HashMap<String, Object> data) {
   
        HashMap<String, Object> responseObj = new HashMap<>();
        String key = PRODUCT_KEY + 1;
        Long id = 1L;

        // 查询商品缓存
        ProductDTO productDTO = null;
        String productCache = stringRedisTemplate.opsForValue().get(key); // GET Product-1
        if (StrUtil.isBlank(productCache)) {
   
            // 缓存过期或不存在,返回空,开启一个互斥锁的线程进行重建缓存
            String lockKey = PRODUCT_LOCK_KEY + id;
            boolean isLock = tryLock(lockKey);
            if (isLock) {
   
                CACHE_REBUILD_EXECUTOR.submit(() -> {
   
                    try {
   
                        this.buildProductCache(id, 30L);
                        System.out.println("queryProductByIdPlus :: 缓存未命中,重建缓存");
                    } catch (Exception e) {
   
                        throw new RuntimeException(e);
                    } finally {
   
                        unLock(lockKey);
                    }
                });
            }
            System.out.println("queryProductByIdPlus :: 缓存未命中 -> " + productDTO);
            responseObj.put("code", 200);
            responseObj.put("success", true);
            responseObj.put("data", "");
            return (T) responseObj;
        } else {
   
            // 缓存命中
            productDTO = JSONUtil.toBean(productCache, ProductDTO.class);
            System.out.println("queryProductByIdPlus :: 缓存已命中 -> " + productDTO);
        }

        responseObj.put("code", 200);
        responseObj.put("success", true);
        responseObj.put("data", productDTO);
        return (T) responseObj;
    }

    private boolean tryLock(String lockKey) {
   
        // SETNX Product-1 1 # 在指定的key不存在时,为key设置指定的值,若设置成功则返回1,若设置失败则返回0
        // EXPIRE Product-1 10
        Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(lockKey, "1", 10, TimeUnit.SECONDS);
        // 注意不能直接返回,直接返回存在拆箱操作,可能会有空指针
        return BooleanUtil.isTrue(flag);
    }

    private void unLock(String lockKey) {
   
        stringRedisTemplate.delete(lockKey);
    }

    private void buildProductCache(Long id, Long expireTime) {
   
        // 模拟查询数据库并返回结果集,存入缓存
        ProductDTO productDTO = null;
        // productDTO = new ProductDTO(id, "面包", 5);
        if (productDTO == null) {
   
            // 缓存兜底数据
            productDTO = new ProductDTO();
        }
        // SET Product-1 {}
        // EXPIRE Product-1 30
        // TTL Product-1
        stringRedisTemplate.opsForValue().set(PRODUCT_KEY + id, JSONUtil.toJsonStr(productDTO), expireTime, TimeUnit.SECONDS);
    }
}

2.简单对象

(1)UserDTO.java

package org.example.pojo.dto;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import lombok.ToString;

@Data
@ToString
@AllArgsConstructor
@NoArgsConstructor
public class UserDTO {
   
    private String phone;
    private String username;
}
目录
相关文章
|
5月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
3月前
|
缓存 数据库连接 数据库
缓存三剑客(穿透、击穿、雪崩)
缓存穿透指查询数据库和缓存中都不存在的数据,导致请求直接冲击数据库。解决方案包括缓存空对象和布隆过滤器。缓存击穿是大量请求访问同一个失效的热点数据,使数据库瞬间压力剧增,解决方法有提前预热、设置永不过期、加锁限流等。缓存雪崩是大量key同时失效,导致所有请求直达数据库,可通过引入随机过期时间缓解。三者分别对应单点爆破、全面崩塌等问题,需根据场景选择合适策略优化系统性能与稳定性。
219 0
|
3月前
|
存储 缓存 NoSQL
如何解决缓存击穿?
缓存击穿是指热点数据失效时大量请求直接冲击数据库,可能导致系统崩溃。解决方案包括:永不过期策略避免缓存失效瞬间的穿透;互斥锁控制并发访问;热点预热提前刷新缓存;熔断降级在数据库压力大时返回默认值;二级缓存降低Redis压力。实际中常组合使用多种方案,如热点预热+互斥锁+熔断降级,以提升系统稳定性与性能。
318 0
|
17天前
|
存储 缓存 NoSQL
Redis专题-实战篇二-商户查询缓存
本文介绍了缓存的基本概念、应用场景及实现方式,涵盖Redis缓存设计、缓存更新策略、缓存穿透问题及其解决方案。重点讲解了缓存空对象与布隆过滤器的使用,并通过代码示例演示了商铺查询的缓存优化实践。
101 1
Redis专题-实战篇二-商户查询缓存
|
17天前
|
缓存 Java 应用服务中间件
Spring Boot配置优化:Tomcat+数据库+缓存+日志,全场景教程
本文详解Spring Boot十大核心配置优化技巧,涵盖Tomcat连接池、数据库连接池、Jackson时区、日志管理、缓存策略、异步线程池等关键配置,结合代码示例与通俗解释,助你轻松掌握高并发场景下的性能调优方法,适用于实际项目落地。
211 4
|
23天前
|
NoSQL Java 调度
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
分布式锁是分布式系统中用于同步多节点访问共享资源的机制,防止并发操作带来的冲突。本文介绍了基于Spring Boot和Redis实现分布式锁的技术方案,涵盖锁的获取与释放、Redis配置、服务调度及多实例运行等内容,通过Docker Compose搭建环境,验证了锁的有效性与互斥特性。
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
|
17天前
|
缓存 NoSQL 关系型数据库
Redis缓存和分布式锁
Redis 是一种高性能的键值存储系统,广泛用于缓存、消息队列和内存数据库。其典型应用包括缓解关系型数据库压力,通过缓存热点数据提高查询效率,支持高并发访问。此外,Redis 还可用于实现分布式锁,解决分布式系统中的资源竞争问题。文章还探讨了缓存的更新策略、缓存穿透与雪崩的解决方案,以及 Redlock 算法等关键技术。
|
2月前
|
缓存 监控 安全
告别缓存击穿!Go 语言中的防并发神器:singleflight 包深度解析
在高并发场景中,多个请求同时访问同一资源易导致缓存击穿、数据库压力过大。Go 语言提供的 `singleflight` 包可将相同 key 的请求合并,仅执行一次实际操作,其余请求共享结果,有效降低系统负载。本文详解其原理、实现及典型应用场景,并附示例代码,助你掌握高并发优化技巧。
202 0
|
3月前
|
缓存 NoSQL 数据库
什么是缓存击穿
缓存击穿是指热点缓存key突然失效,导致大量并发请求直接冲击数据库,造成巨大压力。常见于高并发场景,如热门商品信息失效时。解决方法包括设置热点key永不过期、使用分布式锁、预热数据、熔断降级等,以保障系统稳定性。
476 0
|
4月前
|
机器学习/深度学习 数据采集 人机交互
springboot+redis互联网医院智能导诊系统源码,基于医疗大模型、知识图谱、人机交互方式实现
智能导诊系统基于医疗大模型、知识图谱与人机交互技术,解决患者“知症不知病”“挂错号”等问题。通过多模态交互(语音、文字、图片等)收集病情信息,结合医学知识图谱和深度推理,实现精准的科室推荐和分级诊疗引导。系统支持基于规则模板和数据模型两种开发原理:前者依赖人工设定症状-科室规则,后者通过机器学习或深度学习分析问诊数据。其特点包括快速病情收集、智能病症关联推理、最佳就医推荐、分级导流以及与院内平台联动,提升患者就诊效率和服务体验。技术架构采用 SpringBoot+Redis+MyBatis Plus+MySQL+RocketMQ,确保高效稳定运行。
275 0

热门文章

最新文章