【LRU】一文让你弄清 Redis LRU 页面置换算法

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 【LRU】一文让你弄清 Redis LRU 页面置换算法

Q:一天同事问,我放在 redis 中的 key,为什么有时候过一段时间数据就没有了,我并没有设置过期时间呀??😳😳

A:你的 redis 淘汰策略是什么样的,这个 key 可能是被 redis 自身的淘汰策略干掉了

一看 redis 的 config 文件 redis.conf

果然,你配置的是 maxmemory_policy allkey-lfu ,这个是 Redis 中的淘汰策略,是会从 redis 数据集中挑选使用频率最低的数据进行淘汰的

Q:不明觉厉,摸摸头👀👀

A:我给你简单说一下关于 redis 的淘汰策略吧

首先,redis 删除数据的策略目前来看有三种

  • 👀定时删除

见名知意,定时,自然就像我们定起床闹钟一样,此处是定一个删除 key 的闹钟,当我们对一个 key 设置过期时间的时候,会同时开启一个定时器,当时间到到的时候,就会删除这个 key

这种方式,需要我们额外开一个定时器,会消耗CPU资源

  • 👀惰性删除

惰性,一看就知道这种删除方式是被动的,若一个 key 过期了,redis 不会主动去删除他,而是当这个 key 再次被访问的时候,redis 看他有没有失效,若失效,则删除他

这种方式可以看出,如果一些过期的 key ,再没有被再次访问之前,就会一直存在内存中,非常浪费内存资源

  • 😁主动删除

顾名思义,这种方式是 redis 中会去设置各种策略,去按照不同的策略去删除一些不符合要求的数据,简单的,我们来看看 Redis 的淘汰策略,掌握主动权

Redis 的淘汰策略

可以看出 redis 的淘汰策略大体上有 5 种方式

  • LRU
  • LFU
  • RANDOM

会从数据集中随机选择数据进行删除,按照配置的策略不同 allkeys-random 则是将在所有数据集中进行随机 , volatile-random 是在已经设置了过期时间的数据中去随机淘汰

  • TTL

会从设置了过期时间的数据中,挑选要过期的数据进行淘汰

  • No-eviction (默认,不驱逐数据)

上述五种,看了后面三种都比较好理解,对于前面两种,我来详细给你说一下他的原理,便于你能够理解和记住,而不是去背诵他,面试的时候还可以手撸一下实现代码

前面两种方式,LRU 和 LFU 都是属于页面置换算法,其中还有一个最简单的页面置换算法是 FIFO,学过基本数据结构的对于 FIFO 先入先出的特性并不模式,因此就不在这里展开了,咱们本次主要聊聊 LRU ,很多时候很多同学还是不理解

LRU 的思想和实现

LRU 全称为:Least recently used

含义为:最近最少使用

思想是:如果数据最近被访问过,那么未来最近一段时间,这个数据未来被访问的几率也会更大

思想就是这么简单,不过他已经足够指导我们实践了

我们根据思想来分析一下 LRU 如何去实现它

首先,我们知道数据在内存中是用链表的方式来连接,此处我们可以使用双向链表

那么,对于链表来说,插入数据是很方便的,但是读取的数据的话,难道我们每一次都要去遍历一遍 key 吗?

自然不是,因此对于 LRU 中,还是用 hashmap 来存放 key 和链表上具体数据节点的关系

这样,当访问任何一个 key 的时候,就可以通过 hashmap 中取到节点,进而取到节点的值即可,这种方式的时间复杂度就可以从O(n) 降低到 O(1)

那么对于去实现 最近最少使用 的思想,那就是结合 hashmap 和双向链表来进行实现

  • 插入数据使用头插法,若访问到链表中的某个数据,则将该数据移动到链表头
  • 若插入数据时,链表容量已满,此时淘汰链表尾部的数据

✔举例时刻

举个例子,相信你就可以明白

例如,我们要插入这些数据 set(0,0),set(1,1),set(2,2),set(3,3),set(4,4),get(3) ,链表的容量为 3,来模拟一下 LRU 的处理过程

先插入 3 个数据到 链表中 0, 1, 2,

此处为了简单,咱们将 key 和 value 的值做成一样的

插入 3,

链表容量已满,删除链表尾的数据,这个时候,就已经是发生了缺页,需要对数据进行置换,淘汰链表尾,hashmap 中删除链表为对应的数据,新增 3 这个节点的数据到 hashmap 中

插入4,

链表容量已满,删除链表尾的数据,这个时候,就已经是发生了缺页,需要对数据进行置换,淘汰链表尾,hashmap 中删除链表为对应的数据,新增 4 这个节点的数据到 hashmap 中

获取 3,

由于链表中已经有 3 ,因此会将 3 移动到链表头

从上述演示中,我们可以看到关于 LRU 的关键逻辑

  1. 实现基本的链表
  2. 插入的数据时,如果链表已满,那么链表尾部的数据直接删掉,即淘汰
  3. 查询数据的时候,若数据已经存在于链表中,则将该节点移动到头节点上

那么在实现的时候,只需要实现基本的链表以及其对应的基础方法 (头插法,尾插法,移动节点,查询节点等) ,以及使用 hashmap 来记录链表中具体的 key 和具体的节点

思想,以及 LRU 中链表数据变动的过程明白了,写代码都是很简单的事情,感兴趣的 xdm 可以查看我的 code 地址:https://github.com/qingconglaixueit/my_lru_lfu/blob/main/my_lru/lru.go

实现结果

链接中的代码,可以看到 main.go 实现如下

咱们可以将数据修改成文中的例子,

运行 main.go 之后,可以看到结果如下:

红色部分,表示发生了缺页中断, 向链表中追加的 key 是 0,1,2,3,4,3

感兴趣的话,还是将 代码下载下来,自己跑一下,多多感受一下 LRU 的思想和流程,很容易就可以理解😁😁

总结

这下对于 Redis 的淘汰策略,心中有个数了吧

对于 LRU的具体实现方式相信你可以可以很容易的看明白的,实践起来吧,源码地址为:https://github.com/qingconglaixueit/my_lru_lfu

感谢阅读,欢迎交流,点个赞,关注一波 再走吧

欢迎点赞,关注,收藏

朋友们,你的支持和鼓励,是我坚持分享,提高质量的动力

好了,本次就到这里

技术是开放的,我们的心态,更应是开放的。拥抱变化,向阳而生,努力向前行。

我是阿兵云原生,欢迎点赞关注收藏,下次见~

文中提到的技术点,感兴趣的可以查看这些文章:

可以进入地址进行体验和学习:https://xxetb.xet.tech/s/3lucCI

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
3月前
|
负载均衡 NoSQL 算法
一天五道Java面试题----第十天(简述Redis事务实现--------->负载均衡算法、类型)
这篇文章是关于Java面试中Redis相关问题的笔记,包括Redis事务实现、集群方案、主从复制原理、CAP和BASE理论以及负载均衡算法和类型。
一天五道Java面试题----第十天(简述Redis事务实现--------->负载均衡算法、类型)
|
3月前
|
NoSQL Redis 容器
【Azure Cache for Redis】Redis的导出页面无法配置Storage SAS时通过az cli来完成
【Azure Cache for Redis】Redis的导出页面无法配置Storage SAS时通过az cli来完成
|
3月前
|
缓存 算法 前端开发
深入理解缓存淘汰策略:LRU和LFU算法的解析与应用
【8月更文挑战第25天】在计算机科学领域,高效管理资源对于提升系统性能至关重要。内存缓存作为一种加速数据读取的有效方法,其管理策略直接影响整体性能。本文重点介绍两种常用的缓存淘汰算法:LRU(最近最少使用)和LFU(最不经常使用)。LRU算法依据数据最近是否被访问来进行淘汰决策;而LFU算法则根据数据的访问频率做出判断。这两种算法各有特点,适用于不同的应用场景。通过深入分析这两种算法的原理、实现方式及适用场景,本文旨在帮助开发者更好地理解缓存管理机制,从而在实际应用中作出更合理的选择,有效提升系统性能和用户体验。
189 1
|
4月前
|
缓存 算法 前端开发
前端 JS 经典:LRU 缓存算法
前端 JS 经典:LRU 缓存算法
94 0
|
5月前
|
存储 缓存 算法
LRU(Least Recently Used)算法原理
LRU(Least Recently Used)算法原理
68 0
|
27天前
|
算法 安全 数据安全/隐私保护
基于game-based算法的动态频谱访问matlab仿真
本算法展示了在认知无线电网络中,通过游戏理论优化动态频谱访问,提高频谱利用率和物理层安全性。程序运行效果包括负载因子、传输功率、信噪比对用户效用和保密率的影响分析。软件版本:Matlab 2022a。完整代码包含详细中文注释和操作视频。
|
12天前
|
算法 数据挖掘 数据安全/隐私保护
基于FCM模糊聚类算法的图像分割matlab仿真
本项目展示了基于模糊C均值(FCM)算法的图像分割技术。算法运行效果良好,无水印。使用MATLAB 2022a开发,提供完整代码及中文注释,附带操作步骤视频。FCM算法通过隶属度矩阵和聚类中心矩阵实现图像分割,适用于灰度和彩色图像,广泛应用于医学影像、遥感图像等领域。
|
13天前
|
算法 调度
基于遗传模拟退火混合优化算法的车间作业最优调度matlab仿真,输出甘特图
车间作业调度问题(JSSP)通过遗传算法(GA)和模拟退火算法(SA)优化多个作业在并行工作中心上的加工顺序和时间,以最小化总完成时间和机器闲置时间。MATLAB2022a版本运行测试,展示了有效性和可行性。核心程序采用作业列表表示法,结合遗传操作和模拟退火过程,提高算法性能。
|
14天前
|
存储 算法 决策智能
基于免疫算法的TSP问题求解matlab仿真
旅行商问题(TSP)是一个经典的组合优化问题,目标是寻找经过每个城市恰好一次并返回起点的最短回路。本文介绍了一种基于免疫算法(IA)的解决方案,该算法模拟生物免疫系统的运作机制,通过克隆选择、变异和免疫记忆等步骤,有效解决了TSP问题。程序使用MATLAB 2022a版本运行,展示了良好的优化效果。
|
13天前
|
机器学习/深度学习 算法 芯片
基于GSP工具箱的NILM算法matlab仿真
基于GSP工具箱的NILM算法Matlab仿真,利用图信号处理技术解析家庭或建筑内各电器的独立功耗。GSPBox通过图的节点、边和权重矩阵表示电气系统,实现对未知数据的有效分类。系统使用MATLAB2022a版本,通过滤波或分解技术从全局能耗信号中提取子设备的功耗信息。