LRU算法的Java实现

简介: LRU(Least Recently Used)算法用于淘汰最近最少使用的数据,常应用于内存管理策略中。在Redis中,通过`maxmemory-policy`配置实现不同淘汰策略,如`allkeys-lru`和`volatile-lru`等,采用采样方式近似LRU以优化性能。Java中可通过`LinkedHashMap`轻松实现LRUCache,利用其`accessOrder`特性和`removeEldestEntry`方法完成缓存淘汰逻辑,代码简洁高效。

LRU算法介绍

LRU算法全称Least Recently Used,也就是检查最近最少使用的数据的算法。这个算法通常使用在内存淘汰策略中,用于将不常用的数据转移出内存,将空间腾给最近更常用的“热点数据”。

初识这个算法忘了是在操作系统课还是计算机组成原理课上,其在Redis、Guava等工具中也有非常广泛的应用,甚至是最核心的思想之一。如果今后需要自己设计系统,即使不自己实现这个算法,LRU的思想也仍然是很重要的。

算法很简单,只需要将所有数据按使用时间排序,在需要筛选出LRU数据时,取排名靠后的即可。

算法实现

Redis中的LRU

Redis中的数据量通常很庞大,如果每次对全量数据进行排序,势必将对服务吞吐量造成影响。因此,Redis在LRU淘汰部分key时,使用的是采样并计算近似LRU的,因此淘汰的是局部LRU数据。

Redis内存淘汰策略

maxmemory-policy配置可选参数:

  • noeviction:不淘汰,内存超限后写命令会返回错误(如OOM, del命令除外)
  • allkeys-lru:所有key的LRU机制 在所有key中按照最近最少使用LRU原则剔除key,释放空间
  • volatile-lru:易失key的LRU 仅以设置过期时间key范围内的LRU(如均为设置过期时间,则不会淘汰)
  • allkeys-random:所有key随机淘汰 一视同仁,随机
  • volatile-random:易失Key的随机 仅设置过期时间key范围内的随机
  • volatile-ttl:易失key的TTL淘汰 按最小TTL的key优先淘汰

Redis LRU的效果

左上-理论LRU效果;右上-Redis3.0中的近似LRU(采样值10);左下-Redis2.8中的近似LRU(采样值5);右下-Redis3.0中的近似LRU(采样值5)

浅灰色-被淘汰;灰色-未被淘汰;绿色-新写入

补充说明:

  • 达到设定的内存占用阈值时才会进行内存淘汰
  • maxmemory-samples配置表示采样值,每次删除时采集的样本数——采样值10,表示从设置中定义的key中取10个key进行LRU计算并删除LRU的那个key
  • Redis3.0中的算法建立了一个“候选池”,使得算法的效率和准确率都比2.8有提高,因为范围缩小了

结论:

  • Redis3.0通过增加候选池提高了LRU准确性,效果比2.8好
  • 采样值越高越结果越接近理论LRU(但是采样值越高效率低)
  • 差不多采样率5就已经足够准确了,当然使用10已经基本接近理论LRU结果,但是损失效率

Java中的LRU实现思路

根据LRU算法,在Java中实现需要这些条件:

  • 底层数据使用双向链表,方便在链表的任意位置进行删除,在链表尾进行添加
  • 这一点用单链表比较费劲,当然用数组等结构也都很费劲
  • 当然双向链表在查找时也麻烦,但下述可以结合HashMap使用
  • 需要将链表按照访问(使用)顺序排序
  • 数据量超过一定阈值后,需要删除Least Recently Used数据

Java中一个简单的LRUCache实现

对于上述的实现思路,java.util.LinkedHashMap已经实现了其中的99%,因此直接基于LinkedHashMap实现LRUCache非常简单。

LinkedHashMap为LRUCache铺垫了什么

  • 构造方法提供了accessOrder选项,开启后会get方法会有额外操作保证链表顺序按访问顺序逆序排列
  • 底层结构使用双向链表,查找可以使用HashMap的特点
  • 覆盖了父类HashMap的newNode方法和newTreeNode方法,这两个方法在HashMap中只是创建Node用的,而在LinkedHashMap中不但创建Node,还将Node放在链表末尾
  • 父类HashMap提供了3个void的Hook方法,方法没做任何事:
  • afterNodeRemoval 父类在remove一个集合中存在的元素后调用
  • afterNodeInsertion 父类在put、compute、merge后调用
  • afterNodeAccess 父类在replace、compute、merge等替换值后会调用,LinkedHashMap在get中开启accessOrder时调用,究其根本是在对数据有操作时会调用
  • LinkedHashMap本质上还是复用HashMap的绝大部分功能,包括底层的Node<K, V>[],因此能支持原本HashMap的功能
  • 但是LinkedHashMap实现了父类HashMap的3个Hook方法:
  • afterNodeRemoval 实现链表的删除操作
  • afterNodeInsertion 并没有实现链表的插入操作,但新添加了一个Hook方法boolean removeEldestEntry,当这个Hook方法返回true时,删除链表头的节点
  • afterNodeAccess 如前所述,开启accessOrder后会将被操作的节点放在链表末尾,保证链表顺序按访问顺序逆序排列
  • 上一条3个方法是用来构建双向链表的,LinkedHashMap还覆盖了父类的3个方法:
  • newNode 在创建一个Node的同时,将Node添加到链表末尾
  • newTreeNode 创建TreeNode的同时,将Node添加到链表末尾
  • get 完成get功能的同时,如果accessOrder开启,会调用afterNodeAccess将Node移动到链表末尾 覆盖newNodenewTreeNode方法后,在put方法中调用的newNodenewTreeNode方法也就连带实现了链表的插入操作

综上,我们可以了解到LinkedHashMap为什么能够轻松实现LRUCache

  1. 继承父类HashMap,拥有HashMap的功能,因此在查找一个节点时时间复杂度为O(1),再加上链表是双向,做链表任意节点的删除工作就非常简单
  2. 通过HashMap提供的3个Hook方法并覆盖了2个创建Node的方法,实现了自身链表的添加、删除工作,保证在不影响原本Array功能的前提下,正确完成自身的链表构建;这个过程实际上均是通过Hook方式增强原有功能的,因为原本的HashMap中创建节点其实也是使用的Hook方法
  3. 提供属性accessOrder并实现了afterNodeAccess方法,因此能够根据访问或操作顺序将最近使用或最近插入的数据放在链表尾,越久没被使用的数据就越靠近链表头,实现了整个链表按照LRU的要求排序
  4. 提供了一个Hook方法boolean removeEldestEntry,这个方法返回true时将会删除表头节点,即LRU中应当淘汰的节点,但是这个方法在LinkedHashMap中的实现永远返回false

到这为止,实现一个LRUCache就很简单了:实现这个removeEldestEntryHook方法,给LinkedHashMap设置一个阈值,那么超过这个阈值时就会进行LRU淘汰。

网上随处可见的Java代码实现

体验AI代码助手

代码解读

复制代码

	// 继承LinkedHashMap
	public class LRUCache<K, V> extends LinkedHashMap<K, V> {
		private final int MAX_CACHE_SIZE;

		public LRUCache(int cacheSize) {
			// 使用构造方法 public LinkedHashMap(int initialCapacity, float loadFactor, boolean accessOrder)
			// initialCapacity、loadFactor都不重要
			// accessOrder要设置为true,按访问排序
			super((int) Math.ceil(cacheSize / 0.75) + 1, 0.75f, true);
			MAX_CACHE_SIZE = cacheSize;
		}

		@Override
		protected boolean removeEldestEntry(Map.Entry eldest) {
			// 超过阈值时返回true,进行LRU淘汰
			return size() > MAX_CACHE_SIZE;
		}

	}


转载来源:https://juejin.cn/post/6844903896322670599

相关文章
|
10月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
5月前
|
设计模式 算法 搜索推荐
Java 设计模式之策略模式:灵活切换算法的艺术
策略模式通过封装不同算法并实现灵活切换,将算法与使用解耦。以支付为例,微信、支付宝等支付方式作为独立策略,购物车根据选择调用对应支付逻辑,提升代码可维护性与扩展性,避免冗长条件判断,符合开闭原则。
1228 35
|
10月前
|
存储 缓存 监控
上网行为监控系统剖析:基于 Java LinkedHashMap 算法的时间序列追踪机制探究
数字化办公蓬勃发展的背景下,上网行为监控系统已成为企业维护信息安全、提升工作效能的关键手段。该系统需实时记录并深入分析员工的网络访问行为,如何高效存储和管理这些处于动态变化中的数据,便成为亟待解决的核心问题。Java 语言中的LinkedHashMap数据结构,凭借其独有的有序性特征以及可灵活配置的淘汰策略,为上网行为监控系统提供了一种兼顾性能与功能需求的数据管理方案。本文将对LinkedHashMap在上网行为监控系统中的应用原理、实现路径及其应用价值展开深入探究。
235 3
|
5月前
|
存储 算法 搜索推荐
《数据之美》:Java数据结构与算法精要
本系列深入探讨数据结构与算法的核心原理及Java实现,涵盖线性与非线性结构、常用算法分类、复杂度分析及集合框架应用,助你提升程序效率,掌握编程底层逻辑。
|
5月前
|
存储 人工智能 算法
从零掌握贪心算法Java版:LeetCode 10题实战解析(上)
在算法世界里,有一种思想如同生活中的"见好就收"——每次做出当前看来最优的选择,寄希望于通过局部最优达成全局最优。这种思想就是贪心算法,它以其简洁高效的特点,成为解决最优问题的利器。今天我们就来系统学习贪心算法的核心思想,并通过10道LeetCode经典题目实战演练,带你掌握这种"步步为营"的解题思维。
|
9月前
|
存储 算法 安全
Java中的对称加密算法的原理与实现
本文详细解析了Java中三种常用对称加密算法(AES、DES、3DES)的实现原理及应用。对称加密使用相同密钥进行加解密,适合数据安全传输与存储。AES作为现代标准,支持128/192/256位密钥,安全性高;DES采用56位密钥,现已不够安全;3DES通过三重加密增强安全性,但性能较低。文章提供了各算法的具体Java代码示例,便于快速上手实现加密解密操作,帮助用户根据需求选择合适的加密方案保护数据安全。
619 58
|
8月前
|
机器学习/深度学习 算法 Java
Java实现林火蔓延路径算法
记录正在进行的森林防火项目中林火蔓延功能,本篇文章可以较好的实现森林防火蔓延,但还存在很多不足,如:很多参数只能使用默认值,所以蔓延范围仅供参考。(如果底层设备获取的数据充足,那当我没说)。注:因林火蔓延涉及因素太多,如静可燃物载量、矿质阻尼系数等存在估值,所以得出的结果仅供参考。
340 5
|
8月前
|
存储 负载均衡 算法
我们来说一说 Java 的一致性 Hash 算法
我是小假 期待与你的下一次相遇 ~
442 1
|
7月前
|
运维 监控 算法
基于 Java 滑动窗口算法的局域网内部监控软件流量异常检测技术研究
本文探讨了滑动窗口算法在局域网流量监控中的应用,分析其在实时性、资源控制和多维分析等方面的优势,并提出优化策略,结合Java编程实现高效流量异常检测。
315 0
|
8月前
|
存储 监控 算法
企业上网监控场景下布隆过滤器的 Java 算法构建及其性能优化研究
布隆过滤器是一种高效的数据结构,广泛应用于企业上网监控系统中,用于快速判断员工访问的网址是否为违规站点。相比传统哈希表,它具有更低的内存占用和更快的查询速度,支持实时拦截、动态更新和资源压缩,有效提升系统性能并降低成本。
354 0

热门文章

最新文章