【缓存】J2Cache —— 基于内存和 Redis 的两级 Java 缓存框架的使用方法

简介: 【缓存】J2Cache —— 基于内存和 Redis 的两级 Java 缓存框架的使用方法

一、J2Cache简介

J2Cache 是 OSChina 目前正在使用的两级缓存框架(要求至少 Java 8)。第一级缓存使用内存(同时支持 Ehcache 2.x、Ehcache 3.x 和 Caffeine),第二级缓存使用 Redis(推荐)/Memcached 。 由于大量的缓存读取会导致 L2 的网络成为整个系统的瓶颈,因此 L1 的目标是降低对 L2 的读取次数。 该缓存框架主要用于集群环境中。单机也可使用,用于避免应用重启导致的缓存冷启动后对后端业务的冲击。

J2Cache 从 1.3.0 版本开始支持 JGroups 和 Redis Pub/Sub 两种方式进行缓存事件的通知。在某些云平台上可能无法使用 JGroups 组播方式,可以采用 Redis 发布订阅的方式。详情请看 j2cache.properties 配置文件的说明。

视频介绍:http://v.youku.com/v_show/id_XNzAzMTY5MjUy.html

J2Cache 的两级缓存结构

二、数据读取

  1. 读取顺序 -> L1 -> L2 -> DB
  2. 数据更新
    1 从数据库中读取最新数据,依次更新 L1 -> L2 ,发送广播清除某个缓存信息
    2 接收到广播(手工清除缓存 & 一级缓存自动失效),从 L1 中清除指定的缓存信息

三、使用方法及实际示例

J2Cache 默认使用 Caffeine 作为一级缓存,使用 Redis 作为二级缓存。你还可以选择 Ehcache2 和 Ehcache3 作为一级缓存。

以下实际的使用示例是以Springboot 项目为基础集成 J2Cache 的。

3.1 引用 Maven

以下是我从中央仓库查看的2.8.x的版本

        <!-- https://mvnrepository.com/artifact/net.oschina.j2cache/j2cache-core -->
        <dependency>
            <groupId>net.oschina.j2cache</groupId>
            <artifactId>j2cache-core</artifactId>
            <version>2.8.2-release</version>
        </dependency>

3.2 准备配置

拷贝 j2cache.propertiescaffeine.properties 到你项目的源码目录,并确保这些文件会被编译到项目的 classpath 中。如果你选择了 ehcache 作为一级缓存,需要拷贝 ehcache.xml 或者 ehcache3.xml 到源码目录(后者对应的是 Ehcache 3.x 版本),这些配置文件的模板可以从 https://gitee.com/ld/J2Cache/tree/master/core/resources 这里获取。

使用你喜欢的文本编辑器打开 j2cache.properties 并找到 redis.hosts 项,将其信息改成你的 Redis 服务器所在的地址和端口。

我们建议缓存在使用之前都需要预先设定好缓存大小及有效时间,使用文本编辑器打开 caffeine.properties 进行缓存配置,配置方法请参考文件中的注释内容。

例如:default = 1000,30m #定义缓存名 default ,对象大小 1000,缓存数据有效时间 30 分钟。 你可以定义多个不同名称的缓存。

自己代码中实际的配置文件已上传至资源中心,方便查看:

J2Cache 使用Ceffien作为一级缓存,使用Redis作为二级缓存时的配置

3.3 编写代码

3.3.1 Demo示例

public static void main(String[] args) {
    CacheChannel cache = J2Cache.getChannel();
    // 缓存操作
    cache.set("default", "1", "Hello J2Cache");
    System.out.println(cache.get("default", "1"));
    // 清除缓存
    cache.evict("default", "1");
    System.out.println(cache.get("default", "1"));
    // 请注意 cache.close() 方法只需在程序退出时调用
    cache.close();
}

3.3.2 实际案例

    /**
     * 获取摄像头的uuid
     *
     * @param sn       家庭的sn
     * @param deviceId 像头的设备id
     * @return 摄像头的uuid
     */
    private String getUuid(String sn, Integer deviceId) {
        log.info("E|CameraShoutHandler|getUuid()|根据sn和摄像头的设备id调用设备云服务查询摄像头详情开始!");
        long startTime = System.currentTimeMillis();
        // 格式 dev225:132
        String key = sn + StrUtil.COLON + deviceId;
        CacheChannel channel = J2Cache.getChannel();
        // 先从缓存中取出摄像头的UUID(首先从内存中读取,内存中如果没有再从Redis中读取,如果Redis还是没有,那么就再去数据库或者调用第三方服务获取数据)
        CacheObject cacheObject = channel.get(SystemConstant.APPLICATION_NAME, key);
        String uuid = (String) cacheObject.getValue();
        // 如果两级缓存中没有摄像头的uuid,则去调用设备云服务查询摄像头的详情,查询出之后再存入缓存
        if (Objects.isNull(uuid)) {
            log.info("**************** 缓存中的UUID为空,调用设备云服务查询摄像头的uuid *************");
            CommResponse cameraDetailInfo = cameraDetailInfoRpc.getCameraDetailInfo(sn, deviceId);
            CameraDetailInfoDTO cameraDetailInfoDTO = (CameraDetailInfoDTO) cameraDetailInfo.getData();
            // 存入缓存
            channel.set(SystemConstant.APPLICATION_NAME, key, cameraDetailInfoDTO.getUuid());
        }
        log.info("E|CameraShoutHandler|getUuid()|根据sn和摄像头的设备id调用设备云服务查询摄像头详情结束!------------ 耗时:【{}】毫秒!", System.currentTimeMillis() - startTime);
        return uuid;
    }

可以从Redis客户端工具里查看,Redis中已经有这个数据了。

 

四、常见问题

4.1 J2Cache 的使用场景是什么?

首先你的应用是运行在集群环境,使用 J2Cache 可以有效降低节点间的数据传输量;其次单节点使用 J2Cache 可以避免应用重启后对后端业务系统的冲击

4.2 为什么不能在程序中设置缓存的有效期

在程序中定义缓存数据的有效期会导致缓存不可控,一旦数据出问题无从查起,因此 J2Cache 的所有缓存的有效期都必须在 一级缓存 的配置中预设好再使用

4.3 如何使用 memcached 作为二级缓存

首先修改 j2cache.properties 中的 j2cache.L2.provider_class 为 memcached,然后在 j2cache.properties 中配置 memcached.xxx 相关信息。

需要在项目中引入对 memcached 的支持:

<dependency>
    <groupId>com.googlecode.xmemcached</groupId>
    <artifactId>xmemcached</artifactId>
    <version>2.4.5</version>
</dependency>

4.4 使用何种 Redis 的存储模式最佳? generic 还是 hash ?

我们推荐使用 generic 存储模式,这也是 J2Cache 默认的存储模式,hash 模式最大的问题是无法单独对 key 进行 expire 设置。

参考资料:J2Cache —— 基于内存和 Redis 的两级 Java 缓存框架

完结!


相关文章
|
运维 NoSQL 测试技术
Redis:内存陡增100%深度复盘
本文深度分析了Redis内存陡增100%的一些细节和解决方案。
562 1
Redis:内存陡增100%深度复盘
|
7月前
|
消息中间件 缓存 NoSQL
Redis各类数据结构详细介绍及其在Go语言Gin框架下实践应用
这只是利用Go语言和Gin框架与Redis交互最基础部分展示;根据具体业务需求可能需要更复杂查询、事务处理或订阅发布功能实现更多高级特性应用场景。
413 86
|
数据采集 存储 数据可视化
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
1509 0
分布式爬虫框架Scrapy-Redis实战指南
|
7月前
|
存储 缓存 NoSQL
工作 10 年!Redis 内存淘汰策略 LRU 和传统 LRU 差异,还傻傻分不清
小富带你深入解析Redis内存淘汰机制:LRU与LFU算法原理、实现方式及核心区别。揭秘Redis为何采用“近似LRU”,LFU如何解决频率老化问题,并结合实际场景教你如何选择合适策略,提升缓存命中率。
937 3
|
12月前
|
缓存 并行计算 PyTorch
PyTorch CUDA内存管理优化:深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制,特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因,并通过实际案例(如Llama 1B模型训练)展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术,显著提升了内存使用效率,减少了系统调用开销。此外,文章还介绍了高级优化方法,包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
2157 0
|
9月前
|
存储 缓存 监控
手动清除Ubuntu系统中的内存缓存的步骤
此外,只有系统管理员或具有适当权限的用户才能执行这些命令,因为这涉及到系统级的操作。普通用户尝试执行这些操作会因权限不足而失败。
1626 22
|
10月前
|
存储 监控 NoSQL
流量洪峰应对术:Redis持久化策略与内存压测避坑指南
本文深入解析Redis持久化策略与内存优化技巧,涵盖RDB快照机制、AOF重写原理及混合持久化实践。通过实测数据揭示bgsave内存翻倍风险、Hash结构内存节省方案,并提供高并发场景下的主从复制冲突解决策略。结合压测工具链构建与故障恢复演练,总结出生产环境最佳实践清单。
363 9
|
Web App开发 缓存 监控
如何解决Node框架中内存管理的挑战?
解决 Node 框架中内存管理的挑战需要综合运用多种方法,并且需要在开发过程中保持谨慎和细心,不断优化和改进代码。同时,定期进行内存管理的检查和维护也是非常重要的。
467 160
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
缓存 NoSQL Java
Redis应用—8.相关的缓存框架
本文介绍了Ehcache和Guava Cache两个缓存框架及其使用方法,以及如何自定义缓存。主要内容包括:Ehcache缓存框架、Guava Cache缓存框架、自定义缓存。总结:Ehcache适合用作本地缓存或与Redis结合使用,Guava Cache则提供了更灵活的缓存管理和更高的并发性能。自定义缓存可以根据具体需求选择不同的数据结构和引用类型来实现特定的缓存策略。
854 16
Redis应用—8.相关的缓存框架