图文详述Eureka的缓存机制/三级缓存

简介: 图文详述Eureka的缓存机制/三级缓存

前言

1、为什么说Eureka是CAP理论中的AP?

从CAP理论看,Eureka是一个AP系统,其优先保证可用性(A)和分区容错性(P),不保证强一致性(C),但能做到最终一致性。

  • 因为只要集群中任意一个实例不出现问题,Eureka服务就是可用的;即Eureka Client 在向某个 Eureka Server 注册时,如果发现连接失败,则会自动切换至其它节点;
  • 另外Eureka集群中没有主从的概念,各个节点都是平等的,节点间采用Replicate异步的方式来同步数据;

也正因为Eureka 本身不保证数据的强一致性,所以在架构又设计了很多缓存。

2、为什么要设计那么多缓存(三级缓存)?

这个和MySQL用主从做读写分离很相似,数据库层面的读写分离是为了分摊主数据库的读压力;而Eureka的三级缓存也是为了做读写分离,使写操作不阻塞读操作。

  • 因为在的时候,线程会持有ConcurrentHashmap相应Hash桶节点对象的锁,阻塞同一个Hash桶的其他读线程。
  • 这样可以有效的降低读写并发,避免读写读写争抢资源所带来的压力。

那么加了那么多缓存,如何保证缓存数据的最终一致性?

我们下面就详细聊一下Eureka是如何做的。

缓存机制

Eureka Server中有三个变量用来保存服务注册信息,分别是:registryreadWriteCacheMapreadOnlyCacheMap;默认情况下定时任务每30s将二级缓存readWriteCacheMap同步至三级缓存readOnlyCacheMap;

1、Eureka Server每60s清理超过90s * 2(官方彩蛋)未续约的节点;
2、Eureka Client每30s从readOnlyCacheMap更新服务注册信息;
3、UI界面则从registry获取最新的服务注册信息。

1、三级缓存分别是什么?

缓存 缓存类型 所处类 概述
registry
一级缓存
ConcurrentHashMap AbstractInstanceRegistry 实时更新,又名注册表,UI界面从这里获取服务注册信息;
readWriteCacheMap<br/>二级缓存 Guava Cache(LoadingCache) ResponseCacheImpl 实时更新,缓存时间180秒;
readOnlyCacheMap<br/>三级缓存 ConcurrentHashMap ResponseCacheImpl 周期更新,默认每30s从二级缓存readWriteCacheMap中同步数据更新;
Eureka Client默认从这里获取服务注册信息,可配为直接从readWriteCacheMap获取

二级缓存又称读写缓存、三级缓存又称只读缓存;

1)Eureka Server缓存相关配置

配置名 默认值 概述
eureka.server.useReadOnlyResponseCache true Client从readOnlyCacheMap更新数据,false则跳过readOnlyCacheMap直接从readWriteCacheMap更新
eureka.server.responsecCacheUpdateIntervalMs 30000 readWriteCacheMap更新至readOnlyCacheMap的周期,默认30s

2、缓存之间的数据同步

AbstractInstanceRegistry类中的registry字段为注册表、并与保存一级缓存(实时最新数据);ResponseCacheImpl类中的readWriteCacheMap字段和readOnlyCacheMap字段分别表示二级缓存和三级缓存;下面我们就围绕这两个类、三个字段的数据同步展开讨论。

1)注册一个服务实例

Eureka Server中做的操作:

向注册表registry中写入服务实例信息,并使得二级缓存失效;

在这里插入图片描述
Eureka client第一次向Eureka Server注册服务或者发送心跳续约时,会进去到Eureka Serve中ApplicationResource#addInstance()方法中:
在这里插入图片描述
最终进入到AbstractInstanceRegistry#register()方法中,往其registry字段中添加服务注册信息:
在这里插入图片描述
这里以服务注册为例,我们知道了registry的数据来源;

注意,在做服务注册的最后会将二级缓存清空/失效;
在这里插入图片描述
下面我们接着来看一下Eureka的二级缓存和三级缓存是如何运作的?

2)二级/三级缓存什么时候初始化?

Eureka Server启动的时候会根据SpringBoot自动装配的特性,初始化EurekaServerContext接口的实现类DefaultEurekaServerContext;在DefaultEurekaServerContext初始化时会执行构造器后置逻辑initialize(),其中会初始化注册中心;
在这里插入图片描述
接着进入到PeerAwareInstanceRegistry接口的实现类PeerAwareInstanceRegistryImpl#init()方法中,其中会通过调用initializedResponseCache()方法初始化二级/三级缓存

3)二级/三级缓存初始化都做了什么?

这里可以看到initializedResponseCache()方法中直接new了一个ResponseCacheImpl类;
在这里插入图片描述
我们接着进入到ResponseCacheImpl类中,看一下它的构造函数:
在这里插入图片描述
总的来说,在初始化ResponseCacheImpl类时:

  1. 会设置初始化二级缓存readWriteCacheMap过期时间180s),设置二级缓存往三级缓存readOnlyCacheMap同步的时间间隔(默认30s)。
  2. 设置是否使用三级缓存(默认使用),如果使用则启动一个定时任务,默认每隔30s从二级缓存中同步数据到三级缓存(只更新三级缓存中已存在的key);

4、发现/寻找一个服务

针对Eureka Client和UI界面,他们读取的服务注册信息的方式略有不同:

  • 针对Eureka Client:
  • 1、如果使用只读缓存(三级缓存)<默认使用>,则先从只读缓存中获取;如果获取不到,则从读写缓存(二级缓存)中获取,并将数据缓存到只读缓存;
    2、不使用只读缓存,则直接从读写缓存中获取;如果获取不到则触发guava的回调函数从注册表registry中同步数据(即从一级缓存 -- 注册表registry中取)
  • 而对于UI界面,则是实时从一级缓存(注册表registry)中取。

对于Eureka Client无论是获取一个Application的信息(入口为ApplicationResource#getApplication())还是获取所有Application的信息(入口为ApplicationsResource#getContainers())都会进入到ResponseCacheImple#get(Key key)方法,然后进过此路径《get(key, shouldUseReadOnlyResponseCache) --> getValue(final Key key, boolean useReadOnlyCache)》最终走到真正从缓存中读取数据的逻辑:
在这里插入图片描述

在这里插入图片描述

总结

1、Eureka Server 在接收Eureka Client注册的时候,会将读写缓存(二级缓存)清空;
2、Eureka Server启动时会做两件事:

  1. 会初始化读写缓存(二级缓存),从注册表registry(一级缓存)中实时加载数据,默认180s过期
  2. 判定是否使用只读缓存(三级缓存),默认开启;如果使用则开启一个定时任务,默认每30s做一次读写缓存到只读缓存的数据同步;

3、Eureka Client获取服务信息时,默认先从只读缓存获取;获取不到再从读写缓存中获取,并将数据缓存到只读缓存;获取不到,再触发guava的回调函数从注册表中同步(即从一级缓存 -- 注册表registry中取)。

1、多级缓存带来的好处?

  • 尽可能的避免服务注册出现频繁的读写冲突,写阻塞读;
  • 提高Eureka Server服务的读写性能。

面对频繁读写资源争抢、写阻塞读等情况,我可以考虑借鉴Eureka的多级缓存方案做读写分离。

相关文章
|
8天前
|
存储 缓存 芯片
让星星⭐月亮告诉你,当我们在说CPU一级缓存二级缓存三级缓存的时候,我们到底在说什么?
本文介绍了CPU缓存的基本概念和作用,以及不同级别的缓存(L1、L2、L3)的特点和工作原理。CPU缓存是CPU内部的存储器,用于存储RAM中的数据和指令副本,以提高数据访问速度,减少CPU与RAM之间的速度差异。L1缓存位于处理器内部,速度最快;L2缓存容量更大,但速度稍慢;L3缓存容量最大,由所有CPU内核共享。文章还对比了DRAM和SRAM两种内存类型,解释了它们在计算机系统中的应用。
36 1
|
1月前
|
缓存 Java 数据库连接
mybatis复习05,mybatis的缓存机制(一级缓存和二级缓存及第三方缓存)
文章介绍了MyBatis的缓存机制,包括一级缓存和二级缓存的配置和使用,以及如何整合第三方缓存EHCache。详细解释了一级缓存的生命周期、二级缓存的开启条件和配置属性,以及如何通过ehcache.xml配置文件和logback.xml日志配置文件来实现EHCache的整合。
mybatis复习05,mybatis的缓存机制(一级缓存和二级缓存及第三方缓存)
|
2月前
|
缓存 应用服务中间件 nginx
Web服务器的缓存机制与内容分发网络(CDN)
【8月更文第28天】随着互联网应用的发展,用户对网站响应速度的要求越来越高。为了提升用户体验,Web服务器通常会采用多种技术手段来优化页面加载速度,其中最重要的两种技术就是缓存机制和内容分发网络(CDN)。本文将深入探讨这两种技术的工作原理及其实现方法,并通过具体的代码示例加以说明。
200 1
|
15天前
|
存储 缓存 负载均衡
Nginx代理缓存机制
【10月更文挑战第2天】
43 4
|
18天前
|
存储 缓存 NoSQL
深入理解后端缓存机制的重要性与实践
本文将探讨在后端开发中缓存机制的应用及其重要性。缓存,作为提高系统性能和用户体验的关键技术,对于后端开发来说至关重要。通过减少数据库访问次数和缩短响应时间,缓存可以显著提升应用程序的性能。本文将从缓存的基本概念入手,介绍常见的缓存策略和实现方式,并通过实例展示如何在后端开发中有效应用缓存技术。最后,我们将讨论缓存带来的一些挑战及其解决方案,帮助您在实际项目中更好地利用缓存机制。
|
1月前
|
存储 缓存 Android开发
Android RecyclerView 缓存机制深度解析与面试题
本文首发于公众号“AntDream”,详细解析了 `RecyclerView` 的缓存机制,包括多级缓存的原理与流程,并提供了常见面试题及答案。通过本文,你将深入了解 `RecyclerView` 的高性能秘诀,提升列表和网格的开发技能。
56 8
|
1月前
|
缓存 Java Python
python垃圾回收&缓存机制
python垃圾回收&缓存机制
|
2月前
|
存储 缓存 JavaScript
深入理解后端开发中的缓存机制
【8月更文挑战第31天】本文将通过一个实际的后端开发案例,介绍如何有效地使用缓存来提高应用性能。我们将从基础概念开始,逐步深入到缓存策略的实施,最后通过代码示例展示如何在Node.js环境中实现一个简单的缓存系统。无论你是缓存新手还是希望优化现有系统的开发者,这篇文章都将为你提供实用的指导和启示。
|
2月前
|
存储 缓存 关系型数据库
Django后端架构开发:缓存机制,接口缓存、文件缓存、数据库缓存与Memcached缓存
Django后端架构开发:缓存机制,接口缓存、文件缓存、数据库缓存与Memcached缓存
49 0