Redis系列-12.Redis的缓存过期淘汰策略

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis系列-12.Redis的缓存过期淘汰策略

Redis的缓存过期淘汰策略


经典面试题


生产上你们的redis内存设置是多少?


如何配置,修改redis的内存大小


如果内存满了你会怎么办?


redis清理内存的方式?定期删除和惰性删除了解过吗?


redis缓存淘汰策略有哪些?分别是什么?你用那个?


redis的LRU了解过吗?


Redis内存满了怎么办?


Redis默认内存多少?在哪里查看?如何设置修改?


查看Redis最大占用内存?


打开redis配置文件,设置maxmemory参数,maxmemory是bytes字节类型,注意转换。


Redis默认内存多少可以用?


注意,在64bit系统下,maxmemory设置为0表示不限制redis内存的使用


一般生产下如何配置?


主流的推荐方式是Redis设置内存为最大物理内存的四分之三


如何修改Redis内存配置?


通过命令修改


查看redis内存使用情况


info memory


config get maxmemory


如何真的打满了会怎么样?


如果Redis内存使用超出了设置的最大值会怎么样?


改改配置,故意把最大值设为1个byte试试?

设置了maxmemory的选项,假如redis内存使用达到上线


没有加上过期时间就会导致数据写满maxmemory,为了避免类似情况,所以就有了内存淘汰策略


Redis如何删除的呢?


Redis过期键的删除策略


如果一个键是过期的,那它到了过期时间之后是不是马上就从内存中被被删除呢??


如果回答yes,立即删除,你自己走还是面试官送你走?


如果不是,那过期后到底什么时候被删除呢??是个什么操作?


三种删除的策略


立即删除


Redis不可能时时刻刻遍历所有被设置了生存时间的key,来检测数据是否已经到达过期时间,然后对它进行删除。


立即删除能保证内存中数据的最大新鲜度,因为它保证过期键值会在过期后马上被删除,其所占用的内存也会随之释放。但是立即删除对cpu是最不友好的。因为删除操作会占用cpu的时间,如果刚好碰上了cpu很忙的时候,比如正在做交集或排序等计算的时候,就会给cpu造成额外的压力,让CPU心累,时时需要删除,死。。。。。。。


这会产生大量的性能消耗,同时也会影响数据的读取操作。


总结:对CPU不友好,用处理器性能换取存储空间(拿时间换空间)


惰性删除


数据到达过期时间,不做处理。等下次访问该数据时,


如果未过期,返回数据 ;


发现已过期,删除,返回不存在。


惰性删除策略的缺点是,它对内存是最不友好的。


如果一个键已经过期,而这个键又仍然保留在redis中,那么只要这个过期键不被删除,它所占用的内存就不会释放。


在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB),我们甚至可以将这种情况看作是一种内存泄漏–无用的垃圾数据占用了大量的内存,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息


总结:对memory不友好,用存储空间换取处理器性能(拿空间换时间)


开启惰性淘汰,lazyfree-lazy-eviction=yes


中和方案


定期删除策略是前两种策略的折中:


定期删除策略每隔一段时间执行一次删除过期键操作并通过限制删除操作执行时长和频率来减少删除操作对CPU时间的影响。

周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度 
特点1:CPU性能占用设置有峰值,检测频度可自定义设置 
特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理 
总结:周期性抽查存储空间 (随机抽查,重点抽查) 

举例:

redis默认每隔100ms检查是否有过期的key,有过期key则删除。注意:redis不是每隔100ms将所有的key检查一次而是随机抽取进行检查(如果每隔100ms,全部key进行检查,redis直接进去ICU)。因此,如果只采用定期删除策略,会导致很多key到时间没有删除。

定期删除策略的难点是确定删除操作执行的时长和频率:如果删除操作执行得太频繁或者执行的时间太长,定期删除策略就会退化成立即删除策略,以至于将CPU时间过多地消耗在删除过期键上面。如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除束略一样,出现浪费内存的情况。因此,如果采用定期删除策略的话,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率。

但是哪怕使用以上的步骤还是会存在一定的问题。


1 定期删除时,从来没有被抽查到

2 惰性删除时,也从来没有被点中使用过


上述两个步骤======> 大量过期的key堆积在内存中,导致redis内存空间紧张或者很快耗尽


必须要有一个更好的兜底方案…


此时redis缓存淘汰策略登场…


Redis缓存淘汰策略


配置文件



lru和lfu算法的区别是什么?



区别


LRU:最近最少使用页面置换算法,淘汰最长时间未被使用的页面,看页面最后一次被使用到发生调度的时间长短,首先淘汰最长时间未被使用的页面。


LFU:最近最不常用页面置换算法,淘汰一定时期内被访问次数最少的页,看一定时间段内页面被使用的频率,淘汰一定时期内被访问次数最少的页


举个栗子


某次时期Time为10分钟,如果每分钟进行一次调页,主存块为3,若所需页面走向为2 1 2 1 2 3 4


假设到页面4时会发生缺页中断


若按LRU算法,应换页面1(1页面最久未被使用),但按LFU算法应换页面3(十分钟内,页面3只使用了一次)


可见LRU关键是看页面最后一次被使用到发生调度的时间长短,而LFU关键是看一定时间段内页面被使用的频率!


有哪些?


  • noeviction:不会驱逐任何key,表示及时内存达到上限也不进行置换,所有能引起内存增加的命令都会返回error
  • allkeys-lru:对所有key使用lru算法进行删除,优先删除掉最近最不经常使用的key,用以保存新数据
  • volatile-lru:对所有设置了过期时间的key使用lru算法进行删除
  • allkeys-random:对所有key随机删除
  • volatile-random:对所有设置了过期时间的key随机删除
  • volatile-ttl:删除马上过期的key
  • allkeys-lfu:对所有key使用lfu算法进行删除
  • volatile-lfu:对所有设置了过期时间的key使用lfu算法进行删除


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
11天前
|
NoSQL Redis
Redis的数据淘汰策略有哪些 ?
Redis 提供了 8 种数据淘汰策略,分为淘汰易失数据和淘汰全库数据两大类。易失数据淘汰策略包括:volatile-lru、volatile-lfu、volatile-ttl 和 volatile-random;全库数据淘汰策略包括:allkeys-lru、allkeys-lfu 和 allkeys-random。此外,还有 no-eviction 策略,禁止驱逐数据,当内存不足时新写入操作会报错。
44 16
|
10天前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
11天前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
【赵渝强老师】基于Redis的旁路缓存架构
|
19天前
|
缓存 NoSQL Redis
Redis 缓存使用的实践
《Redis缓存最佳实践指南》涵盖缓存更新策略、缓存击穿防护、大key处理和性能优化。包括Cache Aside Pattern、Write Through、分布式锁、大key拆分和批量操作等技术,帮助你在项目中高效使用Redis缓存。
103 22
|
11天前
|
存储 NoSQL Redis
Redis的数据过期策略有哪些 ?
Redis 采用两种过期键删除策略:惰性删除和定期删除。惰性删除在读取键时检查是否过期并删除,对 CPU 友好但可能积压大量过期键。定期删除则定时抽样检查并删除过期键,对内存更友好。默认每秒扫描 10 次,每次检查 20 个键,若超过 25% 过期则继续检查,单次最大执行时间 25ms。两者结合使用以平衡性能和资源占用。
35 11
|
18天前
|
缓存 NoSQL 中间件
redis高并发缓存中间件总结!
本文档详细介绍了高并发缓存中间件Redis的原理、高级操作及其在电商架构中的应用。通过阿里云的角度,分析了Redis与架构的关系,并展示了无Redis和使用Redis缓存的架构图。文档还涵盖了Redis的基本特性、应用场景、安装部署步骤、配置文件详解、启动和关闭方法、systemctl管理脚本的生成以及日志警告处理等内容。适合初学者和有一定经验的技术人员参考学习。
111 7
|
19天前
|
Web App开发 缓存 UED
如何设置浏览器的缓存策略?
【10月更文挑战第23天】通过合理地设置浏览器的缓存策略,可以在提高网页性能、减少网络流量的同时,确保用户能够获取到最新的内容,从而提升用户体验和网站的性能优化效果。
55 4
|
20天前
|
存储 消息中间件 缓存
缓存策略
【10月更文挑战第25天】在实际应用中,还需要不断地监控和调整缓存策略,以适应系统的变化和发展。
|
1月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
|
1月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)