分布式环境的分布式锁 - Redlock方案

简介: 【10月更文挑战第2天】Redlock方案是一种分布式锁实现,通过在多个独立的Redis实例上加锁来提高容错性和可靠性。客户端需从大多数节点成功加锁且总耗时小于锁的过期时间,才能视为加锁成功。然而,该方案受到分布式专家Martin的质疑,指出其在特定异常情况下(如网络延迟、进程暂停、时钟偏移)可能导致锁失效,影响系统的正确性。Martin建议采用fencing token方案,以确保分布式锁的正确性和安全性。

Redlock方案

前提:

  • 不需要再部署从库和哨兵实例,只部署主库
  • 主库要部署多个,官方推荐至少5个实例

整体流程:

  1. 客户端先获取 当前时间戳time1
  2. 客户端依次向这5个Redis实例发起加锁请求,而且每个请求会设置超时时间,注意这里的超时时间要远远的小于锁的有效时间,如果某一个实例加锁失败(包括网络超时、锁被其他人持有等各种异常情况),向下一个Redis实例申请加锁
  3. 如果客户端从 大于等于3个以上Redis实例加锁成功,则再次获取 当前时间戳time2 ,如果$time2-time1 < ddl$,其中ddl为锁的过期时间,认为客户端加锁成功,因为锁还未过期;否则,加锁失败
  4. 加锁成功,操作共享资源
  5. 加锁失败,向全部节点发起释放锁的请求

重点在于:

  • 客户端必须在多个独立的Redis实例上加锁

    本质是为了容错,因为如果部分实例宕机的话,剩余的实例加锁成功了,整个锁服务依旧可用

  • 必须保证大多数的节点都能加锁成功

    多个Redis实例构成了一个分布式系统,如果只存在故障节点,只要大多数节点正常,整个系统依旧是可以提供正确服务

  • 大多数节点加锁的总耗时,小于锁设置的过期时间

    操作的是多个节点,耗时会比单个实例的耗时多,而且网络层面也有延迟、丢包、超时等情况发生。所以如果大多数的节点加锁情况,但是加锁的累计耗时超过了锁的过期时间,有些实例的锁可能已经失效了,这个锁也没有意义

  • 释放锁,要向全部节点发起释放请求

    清理节点遗留的锁

对Relock的质疑

分布式专家Martin对Relock提出了质疑

分布式锁的目的是什么?

有两个目的:
一是效率,使用分布式锁的互斥功能,避免不必要地做同样地两次工作,例如一些昂贵地计算任务,而锁失效,并不会带来恶性的后果,例如发了2次邮件,问题不大
二是正确性,锁用来防止并发进程互相干扰,如果锁失效,会造成多个进程同时操作同一条数据,产生的后果是数据严重错误、永久性不一致、数据丢失等恶性问题。

如果是为了效率,使用单机版Redis就可以了,即使偶尔宕机/主从切换导致锁失效,都不会产生严重的后果。而Redlock依旧存在锁失效的问题,正确性也无法保证

锁在分布式系统中遇到的问题

分布式系统的异常场景

  • N:Network Delay 网络延迟
  • P:process Pause 进程暂停 GC
  • C:Clock Drift 时钟偏移

下面用一个进程暂停的例子来看Redlock的安全性问题

  1. 客户端1请求锁定节点A~E
  2. 客户端1拿到所以后,进入GC,时间维持久
  3. 所有Redis节点上的锁都过期了
  4. 客户端2获取到了A~E上的锁
  5. 客户端1的GC结束了,也认为自己成功获取到锁了
  6. 客户端2也同样认为 发生了冲突

假设时钟正确并不合理

当多个Redis节点时钟发生问题时,也会导致Redlock锁失效

  1. 客户端1获取节点A~C上的锁,但是因为网络问题,无法访问D和E
  2. 节点C上的时钟向前跳跃,导致锁到期
  3. 客户端2获取节点C~E上的锁,因为网络问题,无法访问A和B
  4. 客户端1和客户端2都觉得自己加锁成功

机器的时钟发生错误,主要有以下情况

  • 系统管理员手动修改了机器时钟
  • 机器时钟在同步NTP时间时,发生了大的跳跃

fencing token方案

Martin 提出一种被叫作 fencing token 的方案,保证分布式锁的正确性。
流程如下:

  1. 客户端在获取锁时,锁服务可以提供一个递增的 token
  2. 客户端拿着这个 token 去操作共享资源
  3. 共享资源可以根据 token 拒绝后来者的请求

这样是建立在异步模型上的,无论哪种情况发生,都可以保证安全性。
他还表示,一个好的分布式锁,无论 NPC 怎么发生,可以不在规定时间内给出结果,但并不会给出一个错误的结果。也就是只会影响到锁的性能,而不会影响它的正确性

目录
相关文章
|
5月前
|
NoSQL Java 调度
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
分布式锁是分布式系统中用于同步多节点访问共享资源的机制,防止并发操作带来的冲突。本文介绍了基于Spring Boot和Redis实现分布式锁的技术方案,涵盖锁的获取与释放、Redis配置、服务调度及多实例运行等内容,通过Docker Compose搭建环境,验证了锁的有效性与互斥特性。
443 0
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
|
12月前
|
NoSQL Java 中间件
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
本文介绍了从单机锁到分布式锁的演变,重点探讨了使用Redis实现分布式锁的方法。分布式锁用于控制分布式系统中多个实例对共享资源的同步访问,需满足互斥性、可重入性、锁超时防死锁和锁释放正确防误删等特性。文章通过具体示例展示了如何利用Redis的`setnx`命令实现加锁,并分析了简化版分布式锁存在的问题,如锁超时和误删。为了解决这些问题,文中提出了设置锁过期时间和在解锁前验证持有锁的线程身份的优化方案。最后指出,尽管当前设计已解决部分问题,但仍存在进一步优化的空间,将在后续章节继续探讨。
1475 131
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
|
9月前
|
人工智能 负载均衡 Java
Spring AI Alibaba 发布企业级 MCP 分布式部署方案
本文介绍了Spring AI Alibaba MCP的开发与应用,旨在解决企业级AI Agent在分布式环境下的部署和动态更新问题。通过集成Nacos,Spring AI Alibaba实现了流量负载均衡及节点变更动态感知等功能。开发者可方便地将企业内部业务系统发布为MCP服务或开发自己的AI Agent。文章详细描述了如何通过代理应用接入存量业务系统,以及全新MCP服务的开发流程,并提供了完整的配置示例和源码链接。未来,Spring AI Alibaba计划结合Nacos3的mcp-registry与mcp-router能力,进一步优化Agent开发体验。
3078 14
|
9月前
|
NoSQL 算法 安全
redis分布式锁在高并发场景下的方案设计与性能提升
本文探讨了Redis分布式锁在主从架构下失效的问题及其解决方案。首先通过CAP理论分析,Redis遵循AP原则,导致锁可能失效。针对此问题,提出两种解决方案:Zookeeper分布式锁(追求CP一致性)和Redlock算法(基于多个Redis实例提升可靠性)。文章还讨论了可能遇到的“坑”,如加从节点引发超卖问题、建议Redis节点数为奇数以及持久化策略对锁的影响。最后,从性能优化角度出发,介绍了减少锁粒度和分段锁的策略,并结合实际场景(如下单重复提交、支付与取消订单冲突)展示了分布式锁的应用方法。
734 3
|
9月前
|
Apache
分布式锁—7.Curator的分布式锁
本文详细解析了Apache Curator库中多种分布式锁的实现机制,包括可重入锁、非可重入锁、可重入读写锁、MultiLock和Semaphore。可重入锁通过InterProcessMutex实现,支持同一线程多次加锁,锁的获取和释放通过Zookeeper的临时顺序节点实现。非可重入锁InterProcessSemaphoreMutex基于Semaphore实现,确保同一时间只有一个线程获取锁。可重入读写锁InterProcessReadWriteLock通过组合读锁和写锁实现,支持读写分离。Multi
|
11月前
|
并行计算 PyTorch 算法框架/工具
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。
1023 3
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
|
12月前
|
NoSQL Java 测试技术
【📕分布式锁通关指南 05】通过redisson实现分布式锁
本文介绍了如何使用Redisson框架在SpringBoot中实现分布式锁,简化了之前通过Redis手动实现分布式锁的复杂性和不完美之处。Redisson作为Redis的高性能客户端,封装了多种锁的实现,使得开发者只需关注业务逻辑。文中详细展示了引入依赖、配置Redisson客户端、实现扣减库存功能的代码示例,并通过JMeter压测验证了其正确性。后续篇章将深入解析Redisson锁实现的源码。
460 0
【📕分布式锁通关指南 05】通过redisson实现分布式锁
|
12月前
|
运维 NoSQL 算法
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
本文深入探讨了基于Redis实现分布式锁时遇到的细节问题及解决方案。首先,针对锁续期问题,提出了通过独立服务、获取锁进程自己续期和异步线程三种方式,并详细介绍了如何利用Lua脚本和守护线程实现自动续期。接着,解决了锁阻塞问题,引入了带超时时间的`tryLock`机制,确保在高并发场景下不会无限等待锁。最后,作为知识扩展,讲解了RedLock算法原理及其在实际业务中的局限性。文章强调,在并发量不高的场景中手写分布式锁可行,但推荐使用更成熟的Redisson框架来实现分布式锁,以保证系统的稳定性和可靠性。
805 0
【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
|
NoSQL 关系型数据库 MySQL
分布式系统学习9:分布式锁
本文介绍了分布式系统中分布式锁的概念、实现方式及其应用场景。分布式锁用于在多个独立的JVM进程间确保资源的互斥访问,具备互斥、高可用、可重入和超时机制等特点。文章详细讲解了三种常见的分布式锁实现方式:基于Redis、Zookeeper和关系型数据库(如MySQL)。其中,Redis适合高性能场景,推荐使用Redisson库;Zookeeper适用于对一致性要求较高的场景,建议基于Curator框架实现;而基于数据库的方式性能较低,实际开发中较少使用。此外,还探讨了乐观锁和悲观锁的区别及适用场景,并介绍了如何通过Lua脚本和Redis的`SET`命令实现原子操作,以及Redisson的自动续期机
1200 7
|
SQL 分布式计算 数据处理
云产品评测|分布式Python计算服务MaxFrame | 在本地环境中使用MaxFrame + 基于MaxFrame实现大语言模型数据处理
本文基于官方文档,介绍了由浅入深的两个部分实操测试,包括在本地环境中使用MaxFrame & 基于MaxFrame实现大语言模型数据处理,对步骤有详细说明。体验下来对MaxCompute的感受是很不错的,值得尝试并使用!
322 1