SnowFlake 雪花算法和原理(分布式 id 生成算法)

简介: SnowFlake 雪花算法和原理(分布式 id 生成算法)

一、概述

SnowFlake 算法:是 Twitter 开源的分布式 id 生成算法。

核心思想:使用一个 64 bit 的 long 型的数字作为全局唯一 id。

image.gif编辑

算法原理

    • 最高位是符号位,始终为0,不可用。
      • 41位的时间序列,精确到毫秒级,41位的长度可以使用69年。时间位还有一个很重要的作用是可以根据时间进行排序。
        • 10位的机器标识,10位的长度最多支持部署1024个节点
          • 12位的计数序列号,序列号即一系列的自增id,可以支持同一节点同一毫秒生成多个ID序号,12位的计数序列号支持每个节点每毫秒产生4096个ID序号

          算法优缺点

          优点

            • 高并发分布式环境下生成不重复 id,每秒可生成百万个不重复 id。
              • 基于时间戳,以及同一时间戳下序列号自增,基本保证 id 有序递增。
                • 不依赖第三方库或者中间件。
                  • 算法简单,在内存中进行,效率高。

                  缺点

                  依赖服务器时间,服务器时钟回拨时可能会生成重复 id。算法中可通过记录最后一个生成 id 时的时间戳来解决,每次生成 id 之前比较当前服务器时钟是否被回拨,避免生成重复 id。

                  二、算法实现

                  <dependency>
                  <groupId>cn.hutool</groupId>
                  <artifactId>hutool-all</artifactId>
                  <version>5.8.11</version>
                  </dependency>

                  image.gif

                  public class IdWorker {
                      //下面两个每个5位,加起来就是10位的工作机器id
                      private long workerId;    //工作id
                      private long datacenterId;   //数据id
                      //12位的序列号
                      private long sequence;
                      public IdWorker(long workerId, long datacenterId, long sequence) {
                          // sanity check for workerId
                          if (workerId > maxWorkerId || workerId < 0) {
                              throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
                          }
                          if (datacenterId > maxDatacenterId || datacenterId < 0) {
                              throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
                          }
                          System.out.printf("worker starting. timestamp left shift %d, datacenter id bits %d, worker id bits %d, sequence bits %d, workerid %d",
                                  timestampLeftShift, datacenterIdBits, workerIdBits, sequenceBits, workerId);
                          this.workerId = workerId;
                          this.datacenterId = datacenterId;
                          this.sequence = sequence;
                      }
                      //初始时间戳
                      private long twepoch = 1288834974657L;
                      //长度为5位
                      private long workerIdBits = 5L;
                      private long datacenterIdBits = 5L;
                      //最大值
                      private long maxWorkerId = -1L ^ (-1L << workerIdBits);
                      private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
                      //序列号id长度
                      private long sequenceBits = 12L;
                      //序列号最大值
                      private long sequenceMask = -1L ^ (-1L << sequenceBits);
                      //工作id需要左移的位数,12位
                      private long workerIdShift = sequenceBits;
                      //数据id需要左移位数 12+5=17位
                      private long datacenterIdShift = sequenceBits + workerIdBits;
                      //时间戳需要左移位数 12+5+5=22位
                      private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
                      //上次时间戳,初始值为负数
                      private long lastTimestamp = -1L;
                      public long getWorkerId() {
                          return workerId;
                      }
                      public long getDatacenterId() {
                          return datacenterId;
                      }
                      public long getTimestamp() {
                          return System.currentTimeMillis();
                      }
                      //下一个ID生成算法
                      public synchronized long nextId() {
                          long timestamp = timeGen();
                          //获取当前时间戳如果小于上次时间戳,则表示时间戳获取出现异常
                          if (timestamp < lastTimestamp) {
                              System.err.printf("clock is moving backwards.  Rejecting requests until %d.", lastTimestamp);
                              throw new RuntimeException(String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds",
                                      lastTimestamp - timestamp));
                          }
                          //获取当前时间戳如果等于上次时间戳(同一毫秒内),则在序列号加一;否则序列号赋值为0,从0开始。
                          if (lastTimestamp == timestamp) {
                              sequence = (sequence + 1) & sequenceMask;
                              if (sequence == 0) {
                                  timestamp = tilNextMillis(lastTimestamp);
                              }
                          } else {
                              sequence = 0;
                          }
                          //将上次时间戳值刷新
                          lastTimestamp = timestamp;
                          /**
                           * 返回结果:
                           * (timestamp - twepoch) << timestampLeftShift) 表示将时间戳减去初始时间戳,再左移相应位数
                           * (datacenterId << datacenterIdShift) 表示将数据id左移相应位数
                           * (workerId << workerIdShift) 表示将工作id左移相应位数
                           * | 是按位或运算符,例如:x | y,只有当x,y都为0的时候结果才为0,其它情况结果都为1。
                           * 因为个部分只有相应位上的值有意义,其它位上都是0,所以将各部分的值进行 | 运算就能得到最终拼接好的id
                           */
                          return ((timestamp - twepoch) << timestampLeftShift) |
                                  (datacenterId << datacenterIdShift) |
                                  (workerId << workerIdShift) |
                                  sequence;
                      }
                      //获取时间戳,并与上次时间戳比较
                      private long tilNextMillis(long lastTimestamp) {
                          long timestamp = timeGen();
                          while (timestamp <= lastTimestamp) {
                              timestamp = timeGen();
                          }
                          return timestamp;
                      }
                      //获取系统时间戳
                      private long timeGen() {
                          return System.currentTimeMillis();
                      }
                      //---------------测试---------------
                      public static void main(String[] args) {
                          IdWorker worker = new IdWorker(1, 1, 1);
                          for (int i = 0; i < 30; i++) {
                              System.out.println(worker.nextId());
                          }
                      }
                  }

                  image.gif

                  解决时间回拨问题

                  原生的 Snowflake 算法是完全依赖于时间的,如果有时钟回拨的情况发生,会生成重复的 ID,市场上的解决方案也是不少。简单粗暴的办法有:

                    • 最简单的方案,就是关闭生成唯一 ID 机器的时间同步。
                      • 使用阿里云的的时间服务器进行同步,2017 年 1 月 1 日的闰秒调整,阿里云服务器 NTP 系统 24 小时“消化”闰秒,完美解决了问题。
                        • 如果发现有时钟回拨,时间很短比如 5 毫秒,就等待,然后再生成。或者就直接报错,交给业务层去处理。也可以采用 SonyFlake 的方案,精确到 10 毫秒,以 10 毫秒为分配单元。

                        twitter的雪花算法:GitHub - twitter-archive/snowflake: Snowflake is a network service for generating unique ID numbers at high scale with some simple guarantees.

                        其它全局唯一的分布式ID的方式:如百度的uid-generator美团的Leaf滴滴的TinyId



                        文章下方有交流学习区!一起学习进步!也可以前往官网,加入官方微信交流群你的支持和鼓励是我创作的动力❗❗❗

                        官网:Doker 多克; 官方旗舰店:首页-Doker 多克 多克创新科技企业店-淘宝网 全品优惠

                        目录
                        相关文章
                        |
                        7月前
                        |
                        负载均衡 算法 调度
                        基于遗传算法的新的异构分布式系统任务调度算法研究(Matlab代码实现)
                        基于遗传算法的新的异构分布式系统任务调度算法研究(Matlab代码实现)
                        303 11
                        |
                        7月前
                        |
                        算法 安全 Python
                        【顶级EI复现】分布式电源选址定容的多目标优化算法(Matlab代码实现)
                        【顶级EI复现】分布式电源选址定容的多目标优化算法(Matlab代码实现)
                        225 1
                        |
                        7月前
                        |
                        传感器 机器学习/深度学习 算法
                        【无人机编队】基于麻雀算法分布式无人机群自适应航迹规划和碰撞检测研究(Matlab代码实现)
                        【无人机编队】基于麻雀算法分布式无人机群自适应航迹规划和碰撞检测研究(Matlab代码实现)
                        172 2
                        |
                        7月前
                        |
                        并行计算 算法 调度
                        基于串行并行ADMM算法的主从配电网分布式优化控制研究(Matlab代码实现)
                        基于串行并行ADMM算法的主从配电网分布式优化控制研究(Matlab代码实现)
                        474 0
                        |
                        7月前
                        |
                        并行计算 算法 安全
                        【ADMM、碳排放】基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究【IEEE6节点、IEEE30节点、IEEE118节点】(Matlab代码实现)
                        【ADMM、碳排放】基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究【IEEE6节点、IEEE30节点、IEEE118节点】(Matlab代码实现)
                        360 0
                        |
                        8月前
                        |
                        运维 算法 5G
                        【优化管理】基于事件触发的弹性分布式能源管理算法研究(Matlab代码实现)
                        【优化管理】基于事件触发的弹性分布式能源管理算法研究(Matlab代码实现)
                        167 0
                        |
                        11月前
                        |
                        NoSQL 算法 安全
                        分布式锁—1.原理算法和使用建议
                        本文主要探讨了Redis分布式锁的八大问题,包括非原子操作、忘记释放锁、释放其他线程的锁、加锁失败处理、锁重入问题、锁竞争问题、锁超时失效及主从复制问题,并提供了相应的优化措施。接着分析了Redis的RedLock算法,讨论其优缺点以及分布式专家Martin对其的质疑。此外,文章对比了基于Redis和Zookeeper(zk)的分布式锁实现原理,包括获取与释放锁的具体流程。最后总结了两种分布式锁的适用场景及使用建议,指出Redis分布式锁虽有性能优势但模型不够健壮,而zk分布式锁更稳定但部署成本较高。实际应用中需根据业务需求权衡选择。
                        |
                        运维 NoSQL 算法
                        【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
                        本文深入探讨了基于Redis实现分布式锁时遇到的细节问题及解决方案。首先,针对锁续期问题,提出了通过独立服务、获取锁进程自己续期和异步线程三种方式,并详细介绍了如何利用Lua脚本和守护线程实现自动续期。接着,解决了锁阻塞问题,引入了带超时时间的`tryLock`机制,确保在高并发场景下不会无限等待锁。最后,作为知识扩展,讲解了RedLock算法原理及其在实际业务中的局限性。文章强调,在并发量不高的场景中手写分布式锁可行,但推荐使用更成熟的Redisson框架来实现分布式锁,以保证系统的稳定性和可靠性。
                        959 0
                        【📕分布式锁通关指南 04】redis分布式锁的细节问题以及RedLock算法原理
                        |
                        存储 人工智能 算法
                        解锁分布式文件分享的 Java 一致性哈希算法密码
                        在数字化时代,文件分享成为信息传播与协同办公的关键环节。本文深入探讨基于Java的一致性哈希算法,该算法通过引入虚拟节点和环形哈希空间,解决了传统哈希算法在分布式存储中的“哈希雪崩”问题,确保文件分配稳定高效。文章还展示了Java实现代码,并展望了其在未来文件分享技术中的应用前景,如结合AI优化节点布局和区块链增强数据安全。
                        |
                        开发框架
                        osharp集成Yitter.IdGenerator并实现分布式ID
                        本文介绍了在 osharp 框架中集成 Yitter.IdGenerator 实现分布式 ID 的方法。osharp 是一个基于 .NET Core 的快速开发框架,而 Yitter.IdGenerator 是一种高效的分布式 ID 生成器。通过实现 `IKeyGenerator&lt;long&gt;` 接口并创建 `YitterSnowKeyGenerator` 类,结合 `YitterIdGeneratorPack` 模块化配置,实现了分布式环境下唯一 ID 的生成。
                        260 0
                        下一篇
                        开通oss服务