Curator分布式锁之生成流水号

简介: Curator分布式锁之生成流水号

在分布式系统中,为了保证数据的一致性,往往需要进行同步控制,比如减库存、唯一流水号生成等。Curator对Zookeeper进行了封装,实现了分布式锁的功能,提供了线程的同步控制。同时,Curator也提供了多种锁机制。下面对通过时间戳生成流水号的场景进行逐步分析。


普通示例

先看一个简单的程序:


package com.secbro.learn.curator;
import java.text.SimpleDateFormat;
import java.util.Date;
/**
 * Created by zhuzs on 2017/5/4.
 */
public class CreateOrderNo {
    public static void main(String[] args) {
        for(int i=0; i< 10; i++){
            SimpleDateFormat sdf = new SimpleDateFormat("yyyyDDmm HH:mm:ss|SSS");
            String orderNo = sdf.format(new Date());
            System.out.println(orderNo);
        }
    }
}

以上代码通过一个循环连续打印出10个时间戳。这里没有使用多线程,但分析下面的打印结果就会发现,其实在同一时刻会生成多个相同的流水号,运行时间在毫秒级别。

201712457 18:57:29|262
201712457 18:57:29|263
201712457 18:57:29|263
201712457 18:57:29|263
201712457 18:57:29|263
201712457 18:57:29|263
201712457 18:57:29|263
201712457 18:57:29|263
201712457 18:57:29|263
201712457 18:57:29|264

如果业务量不大,没有并发情况,上面生成的流水号重复的可能性不大,一旦出现高并发,那么重复的订单号就会大量出现,当然也有其他方案进行解决,本篇文章就不再进行讨论。下说说如何通过分布式锁来解决此问题。


分布式锁示例

下面的代码利用Curator的分布式锁来实现在同一时刻只会生成一个唯一的流水号。


package com.secbro.learn.curator;
import org.apache.curator.RetryPolicy;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;
import org.apache.curator.framework.recipes.locks.InterProcessMutex;
import org.apache.curator.retry.ExponentialBackoffRetry;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.concurrent.CountDownLatch;
/**
 * Created by zhuzs on 2017/5/4.
 */
public class CreateOrderNoWithZK {
    private static final String path = "/lock_path";
    public static void main(String[] args) {
        CuratorFramework client = getClient();
        final InterProcessMutex lock = new InterProcessMutex(client, path);
        final CountDownLatch countDownLatch = new CountDownLatch(1);
        final long startTime = new Date().getTime();
        for (int i = 0; i < 10; i++) {
            new Thread(new Runnable() {
                @Override
                public void run() {
                    try {
                        countDownLatch.await();
                        lock.acquire();
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                    SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd HH:mm:ss|SSS");
                    System.out.println(sdf.format(new Date()));
                    try {
                        lock.release();
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                    System.out.println("显示此线程大概花费时间(等待+执行):" + (new Date().getTime() - startTime) + "ms");
                }
            }).start();
        }
        System.out.println("创建线程花费时间:" + (new Date().getTime() - startTime) + "ms");
        countDownLatch.countDown();
    }
    private static CuratorFramework getClient() {
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 3);
        CuratorFramework client = CuratorFrameworkFactory.builder()
                .connectString("127.0.0.1:2181")
                .retryPolicy(retryPolicy)
                .sessionTimeoutMs(6000)
                .connectionTimeoutMs(3000)
                .namespace("demo")
                .build();
        client.start();
        return client;
    }
}

打印结果为:

创建线程花费时间:1ms
20170504 19:02:13|178
显示此线程大概花费时间(等待+执行):210ms
20170504 19:02:13|386
显示此线程大概花费时间(等待+执行):416ms
20170504 19:02:13|574
显示此线程大概花费时间(等待+执行):629ms
20170504 19:02:13|660
显示此线程大概花费时间(等待+执行):678ms
20170504 19:02:13|769
显示此线程大概花费时间(等待+执行):787ms
20170504 19:02:13|804
显示此线程大概花费时间(等待+执行):814ms
20170504 19:02:13|851
显示此线程大概花费时间(等待+执行):881ms
20170504 19:02:13|899
显示此线程大概花费时间(等待+执行):927ms
20170504 19:02:13|946
显示此线程大概花费时间(等待+执行):955ms
20170504 19:02:13|976
显示此线程大概花费时间(等待+执行):993ms

仔细观察可发现,通过多线程的访问,打印的时间戳却是唯一的。这里使用InterProcessMutex类来进行处理分布式锁,实现了一个生产唯一流水号的功能。


注意事项

在上面的代码中,打印了每步操作的时间,其中访问的zookeeper服务器是远程服务器。从打印的时间我们可以看出,通过这种方式生成唯一流水号并不能支撑很大的并发量。每次操作都需要通过网络访问,zookeeper的节点操作等,会花费大量的时间。另外,由于精确到毫秒,因此一秒钟最多也只能处理999个请求。


同时,在分布式环境中上面的示例还是会出现重复的可能性的,比如两个服务器的时间不一致,即两个服务器相差10ms,恰好第一个执行完,第二个执行的间隙也是10ms,那么第二个生成的订单号还是有可能跟第一个重复的,虽然这种概率及其小。


以上通过示例演示了Curator的分布式锁功能,根据具体的业务需求可选择不同的业务场景来使用。


目录
相关文章
|
2月前
|
存储 异构计算
自研分布式训练框架EPL问题之通过strategy annotation实现流水并行如何解决
自研分布式训练框架EPL问题之通过strategy annotation实现流水并行如何解决
|
6天前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
2月前
|
NoSQL Redis
基于Redis的高可用分布式锁——RedLock
这篇文章介绍了基于Redis的高可用分布式锁RedLock的概念、工作流程、获取和释放锁的方法,以及RedLock相比单机锁在高可用性上的优势,同时指出了其在某些特殊场景下的不足,并提到了ZooKeeper作为另一种实现分布式锁的方案。
94 2
基于Redis的高可用分布式锁——RedLock
|
2月前
|
缓存 NoSQL Java
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】
这篇文章是关于如何在SpringBoot应用中整合Redis并处理分布式场景下的缓存问题,包括缓存穿透、缓存雪崩和缓存击穿。文章详细讨论了在分布式情况下如何添加分布式锁来解决缓存击穿问题,提供了加锁和解锁的实现过程,并展示了使用JMeter进行压力测试来验证锁机制有效性的方法。
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】
|
14天前
|
缓存 NoSQL Java
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
37 3
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
|
7天前
|
NoSQL Redis 数据库
计数器 分布式锁 redis实现
【10月更文挑战第5天】
18 1
|
11天前
|
NoSQL 算法 关系型数据库
Redis分布式锁
【10月更文挑战第1天】分布式锁用于在多进程环境中保护共享资源,防止并发冲突。通常借助外部系统如Redis或Zookeeper实现。通过`SETNX`命令加锁,并设置过期时间防止死锁。为避免误删他人锁,加锁时附带唯一标识,解锁前验证。面对锁提前过期的问题,可使用守护线程自动续期。在Redis集群中,需考虑主从同步延迟导致的锁丢失问题,Redlock算法可提高锁的可靠性。
36 4
|
14天前
|
存储 缓存 NoSQL
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
36 4
|
14天前
|
缓存 NoSQL Ubuntu
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
41 3
|
16天前
|
存储 NoSQL 关系型数据库
【redis】认识redis和分布式系统
【redis】认识redis和分布式系统
19 1

热门文章

最新文章