所谓本地缓存,就是和应用服务器在一起的缓存工具,将需要缓存的数据放到本地缓存中,可以大大的提升访问速度。
在设计本地缓存时,一般需要考虑以下几个方面的问题:
数据结构
一般来讲,为了提升缓存的效率,通常采用 Key-Value 结构进行数据存储,也就是说,缓存中的数据保存和读取都需要有一个 Key,通过 Key 来读取固定的缓存的 Value。
线程安全
本地缓存一定要考虑线程安全的问题,因为大多数情况下本地缓存都是一个全局可访问的变量,那么就会有多个线程同时访问,所以线程安全问题不容忽视。
对象上限
因为是本地缓存,而本地内存中的数据是要占用 JVM 的堆内存的,所以内存是有上限要求的,如果无限存储,最终一定会导致 OOM 的问题。
清除策略
为了避免 OOM 的问题,一般会考虑在缓存中增加清除策略,通过一定的手段定期的清理掉一些数据,来保证内存占用不会过大,常见清除策略主要有 LRU (最近最少使用)、FIFO (先进先出)、LFU (最近最不常用)、SOFT (软引用)、WEAK (弱引用) 等;
过期时间
有了清除策略并不能保证百分百的可以删除数据,极端情况会使得某些数据一直无法删除。这时候就需要有一种机制,能够保证某些 K-V 一定可以删除。通常采用的方案是给每一个缓存的 key 设置过期时间,当达到过期时间之后直接删除,采用清除策略 + 过期时间双重保证;
考虑到以上这些问题之后,就可以考虑如何具体实现一个本地缓存了。
最简单的方式是通过 HashMap 来实现一个本地缓存,因为他本身就是一种 Key-Value 结构的,并且如果使用 ConcurrentHashMap 的话,也能保证线程安全,不过需要自己实现对象上限、过期策略以及清除策略。
除此之外,也有一些比较成熟的开源的本地缓存框架可以直接使用,比较常用的有:
- Guava Cache
- Caffeine(推荐)
- Encache
推荐优先使用 Caffeine 作为本地缓存,在功能上,GuavaCache 支持的功能,Caffeine 都支持,另外 Caffeine 支持异步 Cache 和写入外部资源,这两个 Guava Cache 是不支持的。Caffeine 也是 Spring 5 中默认支持的 Cache。而 Caffeine 在性能上要比 GuavaCache 好很多,主要有以下几个原因:
- 剔除算法,GuavaCache 采用的是「LRU」算法,而 Caffeine 采用的是「Window TinyLFU」算法,这是两者之间最大,也是根本的区别。
- 立即失效,Guava 会把立即失效(例如:expireAfterAccess (0) and expireAfterWrite (0))转成设置最大 Size 为 0。这就会导致剔除提醒的原因是 SIZE 而不是 EXPIRED。Caffeine 能正确识别这种剔除原因。
- 取代提醒,Guava 只要数据被替换,不管什么原因,都会触发剔除监听器。而 Caffeine 在取代值和先前值的引用完全一样时不会触发监听器。
- 异步化,Caffeine 的很多工作都是交给线程池去做的(默认:ForkJoinPool.commonPool ()),例如:剔除监听器,刷新机制,维护工作等。