Redis分布式锁

简介: 【10月更文挑战第1天】分布式锁用于在多进程环境中保护共享资源,防止并发冲突。通常借助外部系统如Redis或Zookeeper实现。通过`SETNX`命令加锁,并设置过期时间防止死锁。为避免误删他人锁,加锁时附带唯一标识,解锁前验证。面对锁提前过期的问题,可使用守护线程自动续期。在Redis集群中,需考虑主从同步延迟导致的锁丢失问题,Redlock算法可提高锁的可靠性。

分布式锁概念

在多线程的程序里,为了避免同时操作一个共享变量产生数据问题,会加一个互斥锁,以确保共享变量的正确性,使用范围是同一个进程

那如果是多个进程,需要同时操作一个共享资源,如何互斥呢?

比如,现在的业务基本上都是微服务架构,一个应用会部署多个进程,这多个进程需要修改MySQL的同一行记录时,就需要引入分布式锁来解决这个问题了。

要实现分布式锁,需要借助一个外部系统,所有的进程都去这个系统上申请加锁,而这个外部系统必须要实现互斥的能力,换言之,如果有两个请求同时进来,也只会给一个进程返回成功,另一个返回失败或等待。

这个外部系统可以是MySQL、Redis或Zookeeper,一般使用Redis或ZK

如何实现

可以使用SETNX命令,表示SET IF NOT EXISTS,也就是当Key不存在的时候才会设置他的值。

比如,客户端1申请加锁,加锁成功;

127.0.0.1:6379> SETNX lock 1
(integer) 1

客户端2申请加锁,因为到达的比客户端1晚,加锁失败。

127.0.0.2:6379> SETNX lock 1
(integer) 0

此时,加锁成功的客户端,就可以去操作共享资源,例如,修改MySQL的某一行数据,或是调用一个API请求。

操作完成后,还要释放锁,这样后续的客户端才能继续操作共享资源。

释放锁可以通过DEL 命令删除这个key

以上是分布式锁最简单的实现,存在一个很大的问题,如果客户端1拿到锁以后,没有释放锁,就会造成死锁。没有释放锁的原因有以下几个:

  1. 程序处理业务逻辑异常,没有及时释放锁

  2. 整个进程挂了/宕机,没有办法去释放锁

如何避免死锁

那么如何解决上述的问题呢?比较容易想到的方案是:申请锁的时候,给锁设置一个租期

对于刚刚的Redis实现,就是给这个Key设置一个过期时间

比如

127.0.0.1:6379> SETNX lock 1 // 加锁
(integer) 1
127.0.0.1:6379> EXPIRE lock 10 // 10s后自动过期
(integer) 1

这样如果客户端异常的话,这个锁在10秒后会被自动释放,其他客户端依旧可以拿到锁

这样还是有问题,刚刚的操作里,加锁、设置过期时间这是2条命令,有可能执行完第一条,第二条来不及执行,比如:

  • 执行第二条语句时因为网络问题,执行失败

  • Redis异常宕机,第二条没时间执行

  • 客户端异常崩溃/退出,第二条命令没机会执行

如果这两条命令不能保证原子操作,就有潜在的风险导致过期时间设置失败,依旧会发生死锁。

Redis 2.6.12以后,只需要使用 SET lock 1 EX 10 NX就可以了

接下来分析下还有没有别的问题?

假设这样一种场景:

  1. 客户端1加锁成功,开始操作共享资源

  2. 客户端1操作共享资源的时间,超过了锁的过期时间,锁被自动释放

  3. 客户端2加锁成功,开始操作共享资源

  4. 客户端1操作共享资源完成,释放锁(注意这里的锁是客户端2刚刚加的锁

这里有两个很严重的问题:

  • 锁过期:客户端1操作共享资源耗时太久,导致锁被自动释放,之后客户端2加锁

  • 释放别人的锁:客户端1操作共享资源后,释放了客户端2的锁

第一个问题,可能是我们评估共享资源的时间不准确导致的。

简单的解决方案就是增大冗余时间,比如10秒过期,但是操作共享资源的时间最慢是15秒,那我就设置过期时间为20秒。但是这样没法根本解决问题,预估的时间只是大致计算,并不能预估到所有增加耗时的场景,比如程序内部发生异常、网络请求超时、异常耗时增加等。

第二个问题,一个客户端释放了其他客户端持有的锁

导致这个问题的原因是 每个客户端在释放锁的时候,没有检查这个锁是不是自己加上的

如何解决锁被别人释放的问题

客户端在加锁的时候,设置一个只有自己知道的唯一标识进去,可以是自己的主机名字、线程ID等,也可以是一个UUID

127.0.0.1:6379> SET lock $uuid EX 20 NX
OK

之后释放锁的时候,需要检查以下

if redis.get("lock") == $uuid:
redis.del("lock")

这里又是一个原子操作,可以写成lua脚本,让Redis来执行

if redis.call("GET",KEYS[1]) == ARGV[1]
then
    return redis.call("DEL",KEYS[1])
else
    return 0
end

这样,整个加锁和解锁的过程就比较严谨了,大概流程如下:

  1. 加锁:SET lock $uuid EX 10 NX

  2. 操作共享资源

  3. 释放锁:lua脚本

不好评估锁过期时间怎么办

前面还有一个遗留问题就是,锁会有提前过期的风险

简单的方案就是尽量冗余过期时间,降低锁提前过期的概率。但是这个方案并不能完美解决问题。

比较主流的方案是,加锁的时候,先设置一个过期时间,同时开启一个守护线程,定时去检测这个锁的失效时间,如果锁快过期了,但是操作共享资源还未完成,自动对锁进行续期,重新设置过期时间。

JavaRedisson库已经把这部分封装好了,看门狗线程

分布式场景

之前分析的场景都是,锁在单个Redis实例中可能会产生的问题,并没有考虑Redis的部署架构细节

但实际上在使用Redis的时候,都是采用主从集群+哨兵的模式部署,当主库异常宕机的时候,哨兵可以进行故障自动切换,把从库提升为主库,继续提供服务,来保证可用性。

假设这样一个场景:

  • 客户端1在主库上加锁成功

  • 主库宕机,SET命令还未同步到从库上(这里是因为主从同步是异步的

  • 哨兵把从库提升为主库,这个锁在新的主库上就丢失了

当引入Redis副本后,分布式锁还是可能受影响,为此,Redis的作者提出一种解决方案,就是Redlock 红锁

目录
相关文章
|
2月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
213 2
|
2月前
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
128 6
|
3月前
|
存储 缓存 NoSQL
Redis核心数据结构与分布式锁实现详解
Redis 是高性能键值数据库,支持多种数据结构,如字符串、列表、集合、哈希、有序集合等,广泛用于缓存、消息队列和实时数据处理。本文详解其核心数据结构及分布式锁实现,帮助开发者提升系统性能与并发控制能力。
|
1月前
|
NoSQL Java 调度
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
分布式锁是分布式系统中用于同步多节点访问共享资源的机制,防止并发操作带来的冲突。本文介绍了基于Spring Boot和Redis实现分布式锁的技术方案,涵盖锁的获取与释放、Redis配置、服务调度及多实例运行等内容,通过Docker Compose搭建环境,验证了锁的有效性与互斥特性。
104 0
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
|
26天前
|
缓存 NoSQL 关系型数据库
Redis缓存和分布式锁
Redis 是一种高性能的键值存储系统,广泛用于缓存、消息队列和内存数据库。其典型应用包括缓解关系型数据库压力,通过缓存热点数据提高查询效率,支持高并发访问。此外,Redis 还可用于实现分布式锁,解决分布式系统中的资源竞争问题。文章还探讨了缓存的更新策略、缓存穿透与雪崩的解决方案,以及 Redlock 算法等关键技术。
|
3月前
|
NoSQL Redis
Lua脚本协助Redis分布式锁实现命令的原子性
利用Lua脚本确保Redis操作的原子性是分布式锁安全性的关键所在,可以大幅减少由于网络分区、客户端故障等导致的锁无法正确释放的情况,从而在分布式系统中保证数据操作的安全性和一致性。在将这些概念应用于生产环境前,建议深入理解Redis事务与Lua脚本的工作原理以及分布式锁的可能问题和解决方案。
145 8
|
4月前
|
缓存 NoSQL 算法
高并发秒杀系统实战(Redis+Lua分布式锁防超卖与库存扣减优化)
秒杀系统面临瞬时高并发、资源竞争和数据一致性挑战。传统方案如数据库锁或应用层锁存在性能瓶颈或分布式问题,而基于Redis的分布式锁与Lua脚本原子操作成为高效解决方案。通过Redis的`SETNX`实现分布式锁,结合Lua脚本完成库存扣减,确保操作原子性并大幅提升性能(QPS从120提升至8,200)。此外,分段库存策略、多级限流及服务降级机制进一步优化系统稳定性。最佳实践包括分层防控、黄金扣减法则与容灾设计,强调根据业务特性灵活组合技术手段以应对高并发场景。
1106 7
|
7月前
|
数据采集 存储 数据可视化
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
666 0
分布式爬虫框架Scrapy-Redis实战指南
|
5月前
|
数据采集 存储 NoSQL
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
330 67
|
8月前
|
NoSQL Java 中间件
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
本文介绍了从单机锁到分布式锁的演变,重点探讨了使用Redis实现分布式锁的方法。分布式锁用于控制分布式系统中多个实例对共享资源的同步访问,需满足互斥性、可重入性、锁超时防死锁和锁释放正确防误删等特性。文章通过具体示例展示了如何利用Redis的`setnx`命令实现加锁,并分析了简化版分布式锁存在的问题,如锁超时和误删。为了解决这些问题,文中提出了设置锁过期时间和在解锁前验证持有锁的线程身份的优化方案。最后指出,尽管当前设计已解决部分问题,但仍存在进一步优化的空间,将在后续章节继续探讨。
1090 131
【📕分布式锁通关指南 02】基于Redis实现的分布式锁