软件体系结构 - 缓存技术(9)缓存穿透

简介: 【4月更文挑战第20天】软件体系结构 - 缓存技术(9)缓存穿透

缓存穿透是指在高并发场景下,客户端请求的某个数据在缓存中不存在,且在后端数据库中也不存在。由于缓存通常在未命中时才去数据库查询,对于这类请求,缓存无法起到拦截作用,导致大量请求直接打到数据库,形成“穿透”现象。这种现象会给数据库带来不必要的压力,尤其是当请求的键是恶意构造或大量不存在的键时,可能会对数据库造成严重的冲击。

缓存穿透的原因主要有:

  1. 正常查询不存在的数据:在实际业务中,用户或应用程序可能会请求一些确实不存在于数据库中的数据。如果这些请求量较大,且没有适当的缓存处理机制,就会导致缓存穿透。
  2. 恶意攻击:攻击者故意制造大量不存在的查询请求,企图使缓存失效并直接冲击数据库,这种攻击通常被称为“缓存击穿攻击”。

缓存穿透的危害包括:

  • 数据库压力剧增:大量无效请求直接到达数据库,可能使数据库成为性能瓶颈,影响其对其他合法请求的响应能力。
  • 系统响应延迟:数据库处理大量无效请求导致响应时间延长,影响整体系统的响应速度和用户体验。
  • 资源浪费:数据库资源被无效请求占用,可能导致真正需要服务的请求无法得到及时处理,浪费系统资源。

为防止和缓解缓存穿透,可以采用以下策略:

策略一:缓存空值

  • 对于查询结果为null或不存在的数据,依然将其以特定标记(如特殊值或空对象)存入缓存,设定较短的过期时间。这样,后续同样的无效请求就可以直接从缓存中获取结果,避免穿透到数据库。

策略二:布隆过滤器

  • 使用布隆过滤器(Bloom Filter)对可能存在的数据进行预判。布隆过滤器是一种空间效率极高的概率型数据结构,用于判断一个元素是否“可能”存在于一个集合中。在请求到达缓存之前,先通过布隆过滤器检查该键是否可能存在。如果布隆过滤器判断该键不存在,则直接返回,避免对数据库的无效查询。

策略三:白名单/黑名单机制

  • 对于已知的合法请求或恶意请求,建立白名单或黑名单。白名单允许通过的请求直接访问缓存和数据库,黑名单则阻止恶意请求到达数据库。这种方式需要结合业务逻辑和风控系统进行实时更新和维护。

策略四:请求限流与熔断

  • 对于短时间内大量相同或相似请求,使用限流组件限制其访问速率,或者在检测到异常流量时启动熔断机制,暂时拒绝部分请求,保护数据库免受冲击。

策略五:后台预加载或定时刷新

  • 对于特定业务场景,可以提前预加载或定时刷新可能被频繁访问但不存在于缓存和数据库的数据,填充空值缓存,防止穿透。

综上所述,通过合理的缓存策略、防御性编程以及风险控制手段,可以有效防止和缓解缓存穿透现象,保护数据库免受无效请求的冲击,确保系统的稳定性和性能。在实际应用中,往往需要结合业务特性和系统资源状况,综合运用多种策略来应对缓存穿透问题。

相关文章
|
9天前
|
存储 消息中间件 缓存
Redis缓存技术详解
【5月更文挑战第6天】Redis是一款高性能内存数据结构存储系统,常用于缓存、消息队列、分布式锁等场景。其特点包括速度快(全内存存储)、丰富数据类型、持久化、发布/订阅、主从复制和分布式锁。优化策略包括选择合适数据类型、设置过期时间、使用Pipeline、开启持久化、监控调优及使用集群。通过这些手段,Redis能为系统提供高效稳定的服务。
|
6天前
|
缓存 数据库 NoSQL
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?--主从切换方案
【5月更文挑战第16天】该方案提出了解决Redis缓存穿透、击穿和雪崩问题的策略。通过使用两个或多个互为备份的Redis集群,确保在单个集群故障时,另一个可以接管。在故障发生时,业务会与备用集群保持心跳检测,并根据业务重要性分批转移流量,逐步增加对备用集群的依赖,同时监控系统稳定性。对于成本敏感的小型公司,可以采用低成本的单机或小规模自建Redis备份。此方案强调渐进式流量转移,以保护系统免受突然压力冲击。
17 1
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?--主从切换方案
|
7天前
|
缓存 数据库 算法
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?---解决缓存击穿和雪崩、限流
【5月更文挑战第15天】本文介绍了如何解决缓存击穿和雪崩问题。对于缓存击穿,采用singleflight模式,确保即使热点数据导致大量请求未命中缓存,也只允许一个请求真正查询数据,其他请求等待其结果。对于缓存雪崩,解决方案是在设置过期时间时添加随机偏移量,避免所有数据同时过期。偏移量应与过期时间成正比。此外,限流也是一个重要策略,可以在服务层和数据库层实施,以限制请求流量,保护数据库免受高并发压力。
13 0
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?---解决缓存击穿和雪崩、限流
|
8天前
|
存储 缓存 NoSQL
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?---解决缓存穿透
【5月更文挑战第14天】解决缓存穿透问题有两种策略。一是回写特殊值,当数据不存在时,在缓存中存储特殊值以标记,避免下次重复查询数据库。但此方法可能被恶意请求利用,浪费内存。二是使用布隆过滤器,预先判断数据是否存在,减少无效数据库查询。布隆过滤器虽有假阳性可能,但概率低,可接受。此外,可先查缓存再查布隆过滤器,优化正常请求的效率。两种方式各有优劣,实际应用需根据场景选择。
19 3
|
9天前
|
缓存 数据库 NoSQL
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?---缓存穿透、击穿和雪崩
【5月更文挑战第13天】本文讨论了三种常见的缓存问题:穿透、击穿和雪崩。缓存穿透发生时,请求的数据既不在缓存也不在数据库,可能导致数据库崩溃。缓存击穿指数据仅存在于数据库,热点数据的大量未命中请求会压垮数据库。缓存雪崩则是大量缓存在同一时间过期,引发数据库瞬间压力过大。为应对这些问题,需了解Redis部署(如Cluster或Sentinel)、故障恢复策略,以及公司如何保护数据库。解决缓存问题的经验和预防措施是面试中的重要话题。
13 0
【后端面经】【缓存】35|缓存问题:怎么解决缓存穿透、击穿和雪崩问题?---缓存穿透、击穿和雪崩
|
9天前
|
缓存 监控 NoSQL
Redis经典问题:缓存穿透
本文介绍了缓存穿透问题在分布式系统和缓存应用中的严重性,当请求的数据在缓存和数据库都不存在时,可能导致数据库崩溃。为解决此问题,提出了五种策略:接口层增加校验、缓存空值、使用布隆过滤器、数据库查询优化和加强监控报警机制。通过这些方法,可以有效缓解缓存穿透对系统稳定性的影响。
111 3
|
9天前
|
缓存 NoSQL 搜索推荐
Redis缓存雪崩穿透等解决方案
本文讨论了缓存使用中可能出现的问题及其解决方案。首先,缓存穿透是指查询数据库中不存在的数据,导致请求频繁到达数据库。解决方法包括数据校验、缓存空值和使用BloomFilter。其次,缓存击穿是大量请求同一失效缓存项,可采取监控、限流或加锁策略。再者,缓存雪崩是大量缓存同时失效,引发数据库压力。应对措施是避免同一失效时间,分散缓存过期。接着,文章介绍了Spring Boot中Redis缓存的配置,包括缓存null值以防止穿透,并展示了自定义缓存过期时间的实现,以避免雪崩效应。最后,提供了在`application.yml`中配置不同缓存项的个性化过期时间的方法。
|
9天前
|
缓存 监控 数据库
分布式系统中缓存穿透问题与解决方案
在分布式系统中,缓存技术被广泛应用以提高系统性能和响应速度。然而,缓存穿透是一个常见而严重的问题,特别是在面对大规模请求时。本文将深入探讨缓存穿透的原因、影响以及一些有效的解决方案,以确保系统在面对这一问题时能够保持稳定和高效。
41 13
|
9天前
|
缓存 NoSQL Java
springboot业务开发--springboot集成redis解决缓存雪崩穿透问题
该文介绍了缓存使用中可能出现的三个问题及解决方案:缓存穿透、缓存击穿和缓存雪崩。为防止缓存穿透,可校验请求数据并缓存空值;缓存击穿可采用限流、热点数据预加载或加锁策略;缓存雪崩则需避免同一时间大量缓存失效,可设置随机过期时间。文章还提及了Spring Boot中Redis缓存的配置,包括缓存null值、使用前缀和自定义过期时间,并提供了改造代码以实现缓存到期时间的个性化设置。
|
9天前
|
缓存 NoSQL 搜索推荐
Redis缓存雪崩穿透等解决方案
本文讨论了缓存使用中的三个问题:缓存穿透、缓存击穿和缓存雪崩。为解决这些问题,提出了相应策略。对于缓存穿透,建议数据校验和缓存空值;缓存击穿可采用监控扩容、服务限流或加锁机制;缓存雪崩则需避免大量缓存同时过期,可设置随机过期时间。此外,文章还介绍了Spring Boot中Redis缓存配置,包括全局设置及自定义缓存过期时间的方法。