分布式唯一ID系列(4)——Redis集群实现的分布式ID适合做分布式ID吗

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 首先把我用Redis实现分布式Id的最终项目地址列出来: https://github.com/maqiankun/distributed-id-redis-generator 关于Redis集群生成分布式ID,这里要先了解redis使用lua脚本的时候的EVAL,EVALSHA命令: https://www.

首先是项目地址:

https://github.com/maqiankun/distributed-id-redis-generator

关于Redis集群生成分布式ID,这里要先了解redis使用lua脚本的时候的EVAL,EVALSHA命令:

https://www.runoob.com/redis/scripting-eval.html
https://www.runoob.com/redis/scripting-evalsha.html

讲解一下Redis实现分布式ID的原理,这里用java语言来讲解:

这里的分布式id我们分成3部分组成:毫秒级时间,redis集群的第多少个节点,每一个redis节点在每一毫秒的自增序列值

然后因为window是64位的,然后整数的时候第一位必须是0,所以最大的数值就是63位的111111111111111111111111111111111111111111111111111111111111111,这里呢,我们分出来41位作为毫秒,然后12位作为redis节点的数量,然后10位做成redis节点在每一毫秒的自增序列值

41位的二进制11111111111111111111111111111111111111111转换成10进制的毫秒就是2199023255551,然后我们把 2199023255551转换成时间就是2039-09-07,也就是说可以用20年的
然后12位作为redis节点,所以最多就是12位的111111111111,也就是最多可以支持4095个redis节点,
然后10位的redis每一个节点自增序列值,,这里最多就是10位的1111111111,也就是说每一个redis节点可以每一毫秒可以最多生成1023个不重复id值

然后我们使用java代码来讲解这个原理,下面的1565165536640L是一个毫秒值,然后我们的的redis节点设置成53,然后我们设置了两个不同的自增序列值,分别是1和1023,下面的结果展示的就是在1565165536640L这一毫秒里面,53号redis节点生成了两个不同的分布式id值

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;


public class Test {

    public static void main(String[] args) {
        long buildId = buildId(1565165536640L, 53, 1);
        System.out.println("分布式id是:"+buildId);
        long buildIdLast = buildId(1565165536640L, 53, 1023);
        System.out.println("分布式id是:"+buildIdLast);
    }
    
    public static long buildId(long miliSecond, long shardId, long seq) {
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }


}
public class Test {

    public static void main(String[] args) {
        long buildId = buildId(1565165536640L, 53, 1);
        System.out.println("分布式id是:"+buildId);
        long buildIdLast = buildId(1565165536640L, 53, 1023);
        System.out.println("分布式id是:"+buildIdLast);
    }
    
    public static long buildId(long miliSecond, long shardId, long seq) {
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }


}

结果如下所示

分布式id是:6564780070991352833
分布式id是:6564780070991353855

那么有人要说了,你这也不符合分布式id的设置啊,完全没有可读性啊,这里我们可以使用下面的方式来获取这个分布式id的生成毫秒时间值,

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;

public class Test {

    public static void main(String[] args) {
        long buildId = buildId(1565165536640L, 53, 1);
        parseId(buildId);
        long buildIdLast = buildId(1565165536640L, 53, 1023);
        parseId(buildIdLast);
    }
    
    public static long buildId(long miliSecond, long shardId, long seq) {
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }

    public static void parseId(long id) {
        long miliSecond = id >>> 22;
        long shardId = (id & (0xFFF << 10)) >> 10;
        System.err.println("分布式id-"+id+"生成的时间是:"+new SimpleDateFormat("yyyy-MM-dd").format(new Date(miliSecond)));
        System.err.println("分布式id-"+id+"在第"+shardId+"号redis节点生成");
    }

}

这样不就ok了,哈哈。

分布式id-6564780070991352833生成的时间是:2019-08-07
分布式id-6564780070991352833在第53号redis节点生成
分布式id-6564780070991353855生成的时间是:2019-08-07
分布式id-6564780070991353855在第53号redis节点生成

实现集群版的redis的分布式id创建

此时我的分布式redis集群的端口分别是6380,6381
首先是生成Evalsha命令安全sha1 校验码,生成过程如下,
首先是生成6380端口对应的安全sha1 校验码,首先进入到redis的bin目录里面,然后执行下面的命令下载lua脚本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node1.lua


1565227740

然后执行下面的命令,生成6380端口对应的安全sha1 校验码,此时看到是be6d4e21e9113bf8af47ce72f3da18e00580d402

./redis-cli -p 6380 script load "$(cat redis-script-node1.lua)"

1565227748

首先是生成6381端口对应的安全sha1 校验码,首先进入到redis的bin目录里面,然后执行下面的命令下载lua脚本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node2.lua

1565227786

然后执行下面的命令,生成6381端口对应的安全sha1 校验码,此时看到是97f65601d0aaf1a0574da69b1ff3092969c4310e

./redis-cli -p 6381 script load "$(cat redis-script-node2.lua)"

1565227805

然后我们就使用上面的sha1 校验码和下面的代码来生成分布式id

项目图片如下

1565227843

IdGenerator类的代码如下所示


package io.github.hengyunabc.redis;

import java.util.ArrayList;
import java.util.List;

import org.apache.commons.lang3.tuple.Pair;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.exceptions.JedisConnectionException;

public class IdGenerator {
    /**
     * JedisPool, luaSha
     */
    List<Pair<JedisPool, String>> jedisPoolList;
    int retryTimes;

    int index = 0;

    private IdGenerator(List<Pair<JedisPool, String>> jedisPoolList,
            int retryTimes) {
        this.jedisPoolList = jedisPoolList;
        this.retryTimes = retryTimes;
    }

    static public IdGeneratorBuilder builder() {
        return new IdGeneratorBuilder();
    }

    static class IdGeneratorBuilder {
        List<Pair<JedisPool, String>> jedisPoolList = new ArrayList();
        int retryTimes = 5;

        public IdGeneratorBuilder addHost(String host, int port, String luaSha) {
            jedisPoolList.add(Pair.of(new JedisPool(host, port), luaSha));
            return this;
        }

        public IdGenerator build() {
            return new IdGenerator(jedisPoolList, retryTimes);
        }
    }

    public long next(String tab) {
        for (int i = 0; i < retryTimes; ++i) {
            Long id = innerNext(tab);
            if (id != null) {
                return id;
            }
        }
        throw new RuntimeException("Can not generate id!");
    }

    Long innerNext(String tab) {
        index++;
        int i = index % jedisPoolList.size();
        Pair<JedisPool, String> pair = jedisPoolList.get(i);
        JedisPool jedisPool = pair.getLeft();

        String luaSha = pair.getRight();
        Jedis jedis = null;
        try {
            jedis = jedisPool.getResource();
            List<Long> result = (List<Long>) jedis.evalsha(luaSha, 2, tab, ""
                    + i);
            long id = buildId(result.get(0), result.get(1), result.get(2),
                    result.get(3));
            return id;
        } catch (JedisConnectionException e) {
            if (jedis != null) {
                jedisPool.returnBrokenResource(jedis);
            }
        } finally {
            if (jedis != null) {
                jedisPool.returnResource(jedis);
            }
        }
        return null;
    }

    public static long buildId(long second, long microSecond, long shardId,
            long seq) {
        long miliSecond = (second * 1000 + microSecond / 1000);
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }

    public static List<Long> parseId(long id) {
        long miliSecond = id >>> 22;
        long shardId = (id & (0xFFF << 10)) >> 10;

        List<Long> re = new ArrayList<Long>(4);
        re.add(miliSecond);
        re.add(shardId);
        return re;
    }
}

Example的代码如下所示,下面的while循环的目的就是为了打印多个分布式id,下面的tab变量就是evalsha命令里面的参数,可以根据自己的需求来定义

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;

public class Example {

    public static void main(String[] args) {
        String tab = "这个就是evalsha命令里面的参数,随便定义";

        IdGenerator idGenerator = IdGenerator.builder()
                .addHost("47.91.248.236", 6380, "be6d4e21e9113bf8af47ce72f3da18e00580d402")
                .addHost("47.91.248.236", 6381, "97f65601d0aaf1a0574da69b1ff3092969c4310e")
                .build();
        int hello = 0;
        while (hello<3){
            long id = idGenerator.next(tab);

            System.out.println("分布式id值:" + id);
            List<Long> result = IdGenerator.parseId(id);

            System.out.println("分布式id生成的时间是:" + new SimpleDateFormat("yyyy-MM-dd").format(new Date(result.get(0))) );
            System.out.println("redis节点:" + result.get(1));
            hello++;
        }

    }
}

此时打印结果如下所示

分布式id值:6564819854640022531
分布式id生成的时间是:2019-08-07
redis节点:1
分布式id值:6564819855189475330
分布式id生成的时间是:2019-08-07
redis节点:0
分布式id值:6564819855361442819
分布式id生成的时间是:2019-08-07
redis节点:1

到这里redis集群版的分布式id就算搞定了,完美؏؏ᖗ乛◡乛ᖘ؏؏

Redis集群实现的分布式id是否适合做分布式id呢?

我觉得Redis集群实现分布式ID是可以供我们开发中的基本使用的,但是我还是觉得它有下面的两个问题:

1:这里我们可以给上一篇的数据库自增ID机制进行对比,其实Redis集群可以说是解决了数据库集群创建分布式ID的性能问题,但是Redis集群系统水平扩展还是比较困难,如果以后想对Redis集群增加Redis节点的话,还是会和数据库集群的节点扩展一样麻烦。
2:还有就是如果你的项目里面没有使用Redis,那么你就要引入新的组件,这也是一个比较麻烦的问题。

原文链接

其他分布式ID系列快捷键:
分布式ID系列(1)——为什么需要分布式ID以及分布式ID的业务需求
分布式ID系列(2)——UUID适合做分布式ID吗
分布式ID系列(3)——数据库自增ID机制适合做分布式ID吗
分布式ID系列(4)——Redis集群实现的分布式ID适合做分布式ID吗
分布式ID系列(5)——Twitter的雪法算法Snowflake适合做分布式ID吗

大佬网址
https://www.itqiankun.com/article/1565227901
https://blog.csdn.net/hengyunabc/article/details/44244951
https://tech.meituan.com/2017/04/21/mt-leaf.html
https://segmentfault.com/a/1190000011282426
https://www.jianshu.com/p/9d7ebe37215e

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
9天前
|
缓存 NoSQL 中间件
Redis,分布式缓存演化之路
本文介绍了基于Redis的分布式缓存演化,探讨了分布式锁和缓存一致性问题及其解决方案。首先分析了本地缓存和分布式缓存的区别与优劣,接着深入讲解了分布式远程缓存带来的并发、缓存失效(穿透、雪崩、击穿)等问题及应对策略。文章还详细描述了如何使用Redis实现分布式锁,确保高并发场景下的数据一致性和系统稳定性。最后,通过双写模式和失效模式讨论了缓存一致性问题,并提出了多种解决方案,如引入Canal中间件等。希望这些内容能为读者在设计分布式缓存系统时提供有价值的参考。感谢您的阅读!
Redis,分布式缓存演化之路
|
2月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
3月前
|
算法 关系型数据库 MySQL
分布式唯一ID生成:深入理解Snowflake算法在Go中的实现
在分布式系统中,确保每个节点生成的 ID 唯一且高效至关重要。Snowflake 算法由 Twitter 开发,通过 64 位 long 型数字生成全局唯一 ID,包括 1 位标识位、41 位时间戳、10 位机器 ID 和 12 位序列号。该算法具备全局唯一性、递增性、高可用性和高性能,适用于高并发场景,如电商促销时的大量订单生成。本文介绍了使用 Go 语言的 `bwmarrin/snowflake` 和 `sony/sonyflake` 库实现 Snowflake 算法的方法。
118 1
分布式唯一ID生成:深入理解Snowflake算法在Go中的实现
|
2月前
|
存储 NoSQL Redis
redis主从集群与分片集群的区别
主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
72 5
|
2月前
|
存储 NoSQL Java
使用lock4j-redis-template-spring-boot-starter实现redis分布式锁
通过使用 `lock4j-redis-template-spring-boot-starter`,我们可以轻松实现 Redis 分布式锁,从而解决分布式系统中多个实例并发访问共享资源的问题。合理配置和使用分布式锁,可以有效提高系统的稳定性和数据的一致性。希望本文对你在实际项目中使用 Redis 分布式锁有所帮助。
210 5
|
3月前
|
NoSQL Java 数据处理
基于Redis海量数据场景分布式ID架构实践
【11月更文挑战第30天】在现代分布式系统中,生成全局唯一的ID是一个常见且重要的需求。在微服务架构中,各个服务可能需要生成唯一标识符,如用户ID、订单ID等。传统的自增ID已经无法满足在集群环境下保持唯一性的要求,而分布式ID解决方案能够确保即使在多个实例间也能生成全局唯一的标识符。本文将深入探讨如何利用Redis实现分布式ID生成,并通过Java语言展示多个示例,同时分析每个实践方案的优缺点。
101 8
|
3月前
|
NoSQL Redis
Redis分布式锁如何实现 ?
Redis分布式锁通过SETNX指令实现,确保仅在键不存在时设置值。此机制用于控制多个线程对共享资源的访问,避免并发冲突。然而,实际应用中需解决死锁、锁超时、归一化、可重入及阻塞等问题,以确保系统的稳定性和可靠性。解决方案包括设置锁超时、引入Watch Dog机制、使用ThreadLocal绑定加解锁操作、实现计数器支持可重入锁以及采用自旋锁思想处理阻塞请求。
84 16
|
3月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
69 5
|
2月前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
187 85