Java面试之分布式篇

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: Java面试之分布式篇

1.为什么需要分布式锁?

(1)在单体应用的时候,如果多个线程要访问共享资源的时候,我们通常使用线程间加锁的机制,在某一个时刻,只有一个线程可以对这个资源进行操作,其他线程需要等待锁的释放,Java中也有一些处理锁的机制,比如synchronized。

(2)而到了分布式的环境中,当某个资源可以被多个系统访问使用到的时候,为了保证大家访问这个数据是一致性的,那么就要求再同一个时刻,只能被一个系统使用,这时候线程之间的锁机制就无法起到作用了。因为分布式环境中,系统是会部署到不同的机器上面的,每个机器都有自己的jvm,每个jvm都有自己的synchronized,锁不住其他系统的数据。

2.分布式锁的实现方案

2.1 用数据库实现

①就是创建一张锁表,数据库对字段作唯一性约束。

②加锁的时候,在锁表中增加一条记录即可;释放锁的时候删除锁记录就行。

③如果有并发请求同时提交到数据库,数据库会保证只有一个请求能够得到锁。

④这种属于数据库IO操作,效率不高,而且频繁操作会增大数据库的开销,因此这种方式在高并发、高性能的场景中用的不多。

2.2 基于redis分布式锁

(1)理论上来说使用缓存来实现分布式锁的效率最高,加锁速度最快,因为Redis几乎都是纯内存操作,而基于数据库的方案和基于Zookeeper的方案都会涉及到磁盘文件IO,效率相对低下。

(2)redis提供了SETNX命令去实现锁的排他性,还可以使用expire命令去设置锁的失效时间从而避免死锁的问题。对于加锁与设置过期时间是非原子操作,我们可以使用Lua脚本。

补充:基于setnx实现分布式锁存在的问题:

①不可重入:同一个线程无法多次获取同一把锁(线程外层方法获取后,在内层方法不能再次获取)

②不可重试:获取锁只尝试一次就返回false,没有重试机制

③超时释放:锁超时释放虽然可以避免死锁,但是如果业务执行耗时特别长,也会导致锁超时释放,存在安全隐患

④主从一致性:如果redis提供了主从集群,主从同步存在延迟,当主机宕机时,如果从节点没有及时同步锁;那么其他线程就有可能认为没有锁,会抢占到锁

(3)Redisson框架提供了一个分布式锁的封装实现,并且内置了一个叫看门狗Watch Dog的机制,来对加锁成功后还想继续持有锁的进行key的续期。

a.可重入:利用hash结构记录线程id和重入次数

b.可重试:利用信号量和PubSub功能实现等待、唤醒,获取锁失败的重试机制

c.超时续约:利用watchDog,每隔一段时间(releaseTime(锁的持有时间) / 3),重置超时时间

①Redisson的使用

/** waitTimeout 尝试获取锁的最大等待时间,超过这个值,则认为获取锁失败
  * leaseTime   锁的持有时间,超过这个时间锁会自动失效
  * (值应设置为大于业务处理的时间,确保在锁有效期内业务能处理完)
*/
boolean res = rLock.tryLock((long)waitTimeout, (long)leaseTime, TimeUnit.SECONDS);

②Redisson分布式锁原理图

注意:使用默认的leaseTime才会启动看门狗机制

(4)如果线程1在Redis的master节点上拿到了锁,但是加锁的key还没同步到slave节点。恰好这时,master节点发生了故障,一个slave节点就会升级为master节点。线程2就可以获取到这个key的锁了,但是线程1已经拿到锁了,锁的安全性就没有了,可以使用RedLock

2.3 基于Zookeeper

Zookeeper利用临时有序节点实现分布式锁。(缺点:客户端在持有锁期间,需要定期向Zookeeper发送心跳,以保持锁的状态。如果客户端因为异常退出或网络故障等原因无法发送心跳,Zookeeper会认为客户端已经释放了锁。)

在zookeeper中建一个分布式锁的节点。

步骤1:客户端A在锁的节点创建一个临时有序节点001

步骤2:看001是不是第一个节点,看序号有没有比它小的,是第一个节点就获取到锁。

步骤3:客户端B创建临时有序节点002

步骤4:判断002是否是第一个节点,不是第一个节点则给上一个节点用watch加监听器。

步骤5:客户端A执行完业务逻辑后,需要释放锁了,删除临时有序节点

步骤5:等到第一个节点释放锁,删除了节点后就会被002监听到。

步骤6:zookeeper通知客户端B第一个节点被删除了。

步骤8:此时客户端B就会再次判断自己是不是第一个节点

步骤9:是的话就会加锁成功

补充:

1.1 zookeeper节点分类:

①临时节点:与客户端断开连接后删除

a.临时目录节点:节点名称不编号

b.临时有序节点:节点名称进行顺序编号

②持久节点:与客户端断开连接后不删除

a.持久目录节点:节点名称不编号

b.持久有序节点:节点名称进行顺序编号

1.2 临时有序节点可以通过watch命令监听到节点的增删改

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
5天前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
16 2
|
10天前
|
存储 算法 Java
大厂面试高频:什么是自旋锁?Java 实现自旋锁的原理?
本文详解自旋锁的概念、优缺点、使用场景及Java实现。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:什么是自旋锁?Java 实现自旋锁的原理?
|
15天前
|
存储 缓存 Oracle
Java I/O流面试之道
NIO的出现在于提高IO的速度,它相比传统的输入/输出流速度更快。NIO通过管道Channel和缓冲器Buffer来处理数据,可以把管道当成一个矿藏,缓冲器就是矿藏里的卡车。程序通过管道里的缓冲器进行数据交互,而不直接处理数据。程序要么从缓冲器获取数据,要么输入数据到缓冲器。
Java I/O流面试之道
|
11天前
|
存储 缓存 Java
大厂面试必看!Java基本数据类型和包装类的那些坑
本文介绍了Java中的基本数据类型和包装类,包括整数类型、浮点数类型、字符类型和布尔类型。详细讲解了每种类型的特性和应用场景,并探讨了包装类的引入原因、装箱与拆箱机制以及缓存机制。最后总结了面试中常见的相关考点,帮助读者更好地理解和应对面试中的问题。
37 4
|
12天前
|
存储 Java 程序员
Java基础的灵魂——Object类方法详解(社招面试不踩坑)
本文介绍了Java中`Object`类的几个重要方法,包括`toString`、`equals`、`hashCode`、`finalize`、`clone`、`getClass`、`notify`和`wait`。这些方法是面试中的常考点,掌握它们有助于理解Java对象的行为和实现多线程编程。作者通过具体示例和应用场景,详细解析了每个方法的作用和重写技巧,帮助读者更好地应对面试和技术开发。
53 4
|
1月前
|
存储 安全 算法
Java面试题之Java集合面试题 50道(带答案)
这篇文章提供了50道Java集合框架的面试题及其答案,涵盖了集合的基础知识、底层数据结构、不同集合类的特点和用法,以及一些高级主题如并发集合的使用。
83 1
Java面试题之Java集合面试题 50道(带答案)
|
15天前
|
存储 NoSQL Java
Java调度任务如何使用分布式锁保证相同任务在一个周期里只执行一次?
【10月更文挑战第29天】Java调度任务如何使用分布式锁保证相同任务在一个周期里只执行一次?
41 1
|
24天前
|
存储 Java 程序员
Java面试加分点!一文读懂HashMap底层实现与扩容机制
本文详细解析了Java中经典的HashMap数据结构,包括其底层实现、扩容机制、put和查找过程、哈希函数以及JDK 1.7与1.8的差异。通过数组、链表和红黑树的组合,HashMap实现了高效的键值对存储与检索。文章还介绍了HashMap在不同版本中的优化,帮助读者更好地理解和应用这一重要工具。
52 5
|
23天前
|
存储 Java
[Java]面试官:你对异常处理了解多少,例如,finally中可以有return吗?
本文介绍了Java中`try...catch...finally`语句的使用细节及返回值问题,并探讨了JDK1.7引入的`try...with...resources`新特性,强调了异常处理机制及资源自动关闭的优势。
19 1
|
29天前
|
消息中间件 架构师 Java
阿里面试:秒杀的分布式事务, 是如何设计的?
在40岁老架构师尼恩的读者交流群中,近期有小伙伴在面试阿里、滴滴、极兔等一线互联网企业时,遇到了许多关于分布式事务的重要面试题。为了帮助大家更好地应对这些面试题,尼恩进行了系统化的梳理,详细介绍了Seata和RocketMQ事务消息的结合,以及如何实现强弱结合型事务。文章还提供了分布式事务的标准面试答案,并推荐了《尼恩Java面试宝典PDF》等资源,帮助大家在面试中脱颖而出。