场景应用:id全局唯一且自增,如何实现?

简介: 场景应用:id全局唯一且自增,如何实现?

场景应用:id全局唯一且自增,如何实现?


文章目录

id全局唯一且自增,如何实现?

系统唯一id是我们在设计阶段常常遇到的问题。在复杂的分布式系统中,几乎都需要对大量的数据和消息进行唯一标识。在设计初期,我们需要考虑日后数据量的级别,如果可能会对数据进行分库分表,那么就需要有一个全局唯一id来标识一条数据或记录。生成唯一id的策略有多种,但是每种策略都有它的适用场景、优点以及局限性。

需求特点

id一般是数据库的主键,数据库上会建立聚集索引,即在物理存储上以这个字段排序。这个记录标识上的查询往往又有分页或者排序的业务需求,如果再增加一个time字段以其建立普通索引则访问效率低(因为普通索引存储的是实际记录的指针)。如果ID在生成时就能基本保证时间有序,则可以省去这个字段。

故这个ID一般具有以下特点:

  • 全局唯一性:不能出现重复的ID号,既然是唯一标识,这是最基本的要求
  • 趋势递增:在MySQL的InnoDB引擎中使用的是聚集索引,由于多数RDBMS使用B-tree的数据结构来存储索引数据,在主键的选择上面我们应该尽量使用有序的主键保证写入性能
  • 单调递增:保证下一个ID一定大于上一个ID,例如事务版本号、IM增量消息、排序等特殊需求
  • 信息安全:如果ID是连续的,恶意用户的扒取工作就非常容易做了,直接按照顺序下载指定URL即可;如果是订单号就更危险了,竞对可以直接知道我们一天的单量。所以在一些应用场景下需要ID无规则
  • 高可用性:同时除了对ID号码自身的要求,业务还对ID号生成系统的可用性要求极高,想象一下,如果ID生成系统瘫痪,这就会带来一场灾难。所以不能有单点故障
  • 分片支持:可以控制ShardingId。比如某一个用户的文章要放在同一个分片内,这样查询效率高,修改也容易
  • 长度适中

实现方案

1、数据库的 auto_increment

这个不用多说,使用数据库自带的字段自增功能

优缺点

优点

  • 非常简单。利用现有数据库系统的功能实现,成本小,代码简单,性能可以接受。ID号单调递增。可以实现一些对ID有特殊要求的业务,比如对分页或者排序结果这类需求有帮助

缺点

  • 强依赖DB。不同数据库语法和实现不同,数据库迁移的时候、多数据库版本支持的时候、或分表分库的时候需要处理,会比较麻烦。当DB异常时整个系统不可用,属于致命问题。
  • 单点故障。在单个数据库或读写分离或一主多从的情况下,只有一个主库可以生成。有单点故障的风险。
  • 数据一致性问题。配置主从复制可以尽可能的增加可用性,但是数据一致性在特殊情况下难以保证。主从切换时的不一致可能会导致重复发号。
  • 难于扩展。在性能达不到要求的情况下,比较难于扩展。ID发号性能瓶颈限制在单台MySQL的读写性能。

进行优化:分库分表

冗余主库,避免写入单点数据水平切分,保证各主库生成的ID不重复(由1个写库变成3个写库,每个写库设置不同的 auto_increment 初始值,以及相同的增长步长)。

改进后的架构保证了可用性但数据库的写压力依然很大,每次生成ID都要访问数据库,而且丧失了ID生成的“绝对递增性”:先访问DB 01生成0,3,再访问DB 02生成1,可能导致在非常短的时间内,ID生成不是绝对递增的(这个问题不大,目标是趋势递增,不是绝对递增)

2、UUID

uuid是一种常见的本地生成ID的方法,利用程序生成,减少耗时。(不管是通过数据库,还是通过服务来生成ID,业务方Application都需要进行一次远程调用,比较耗时)

UUID () 的目的,是让分布式系统中的所有元素,都能有唯一的辨识资讯,而不需要透过中央控制端来做辨识资讯的指定。如此一来,每个人都可以建立不与其它人冲突的 UUID。在这样的情况下,就不需考虑数据库建立时的名称重复问题。

生成规则

UUID的标准形式包含32个16进制数字,以连字号分为五段,形式为8-4-4-4-12的36个字符,示例:550e8400-e29b-41d4-a716-446655440000,到目前为止业界一共有5种方式生成UUID。

例如 Java中:

UUID uuid = UUID.randomUUID();
System.out.println(uuid);

运行结果如下:

优缺点

优点

  • 非常简单,本地生成,代码方便,API调用方便。
  • 性能高。生成的id性能非常好,没有网络消耗,基本不会有性能问题。
  • 全球唯一。在数据库迁移、系统数据合并、或者数据库变更的情况下,可以 从容应对。

缺点

  • 存储成本高:UUID太长,16字节128位,通常以36长度的字符串表示,很多场景不适用。如果是海量数据库,就需要考虑存储量的问题。
  • 信息不安全:基于MAC地址生成UUID的算法可能会造成MAC地址泄露,这个漏洞曾被用于寻找梅丽莎病毒的制作者位置。
    不适用作为主键:ID作为主键时在特定的环境会存在一些问题,比如做DB主键的场景下,UUID就非常不适用。UUID往往是使用字符串存储,查询的效率比较低。
  • UUID是无序的:不是单调递增的,而现阶段主流的数据库主键索引都是选用的B+树索引,对于无序长度过长的主键插入效率比较低。
  • 传输数据量大
  • 不可读

进行优化:

为了解决UUID不可读, 可以使用UUID to Int64的方法 。

为了解决UUID无序的问题, NHibernate在其主键生成方式中提供了Comb算法(combined guid/timestamp)。保留GUID的10个字节,用另6个字节表示GUID生成的时间(DateTime)。

3、雪花(SnowFlake)算法

雪花ID生成的是一个64位的二进制正整数,然后转换成10进制的数。64位二进制数由如下部分组成:

snowflflake id生成规则

成员部分 说明
1位标识符 始终是0,由于long基本类型在Java中是带符号的,最高位是符号位,正数是0,负数是1,所以id一般是正数,最高位是0。
41位时间戳 41位时间截不是存储当前时间的时间截,而是存储时间截的差值(当前时间截 - 开始时间截 )得到的值,这里的的开始时间截,一般是我们的id生成器开始使用的时间,由我们程序来指定的。
10位机器标识码 可以部署在1024个节点,如果机器分机房(IDC)部署,这10位可以由 5位机房ID + 5位机器ID 组成。
12位序列 毫秒内的计数,12位的计数顺序号支持每个节点每毫秒(同一机器,同一时间截)产生4096个ID序号

优缺点

优点

  • 简单高效,生成速度快。
  • 时间戳在高位,自增序列在低位,整个ID是趋势递增的,按照时间有序递增。
  • 灵活度高,可以根据业务需求,调整bit位的划分,满足不同的需求。

缺点

  • 依赖机器的时钟,如果服务器时钟回拨,会导致重复ID生成。
  • 在分布式环境上,每个服务器的时钟不可能完全同步,有时会出现不是全局递增的情况。


相关文章
|
7月前
|
存储 NoSQL 数据库
全局id生成方式
全局id生成方式
|
7月前
|
存储 缓存 算法
分布式全局id
分布式全局id
|
7月前
|
设计模式 算法 Java
面试官:分库分表后如何生成全局ID?
面试官:分库分表后如何生成全局ID?
168 1
|
存储 Rust 算法
有关'全局唯一id'
有关'全局唯一id'
85 0
|
存储 缓存 NoSQL
分布式ID(唯一性)的生成方法汇总
分布式ID(唯一性)的生成方法汇总
分布式ID(唯一性)的生成方法汇总
|
存储 算法 安全
全局唯一ID(自增ID、UUID、雪花算法)
一、介绍 系统唯一id是我们在设计阶段常常遇到的问题。在复杂的分布式系统中,几乎都需要对大量的数据和消息进行唯一标识。在设计初期,我们需要考虑日后数据量的级别,如果可能会对数据进行分库分表,那么就需要有一个全局唯一id来标识一条数据或记录。生成唯一id的策略有多种,但是每种策略都有它的适用场景、优点以及局限性。
|
Java 数据库连接 数据库
Mybatis使用generatedKey在插入数据时返回自增id始终为1,自增id实际返回到原对象当中的问题排查...
Mybatis使用generatedKey在插入数据时返回自增id始终为1,自增id实际返回到原对象当中的问题排查...
181 0
|
NoSQL Redis
自定义全局自增ID生成器(下)
自定义全局自增ID生成器
248 0
|
算法 Java Spring
自定义全局自增ID生成器(上)
自定义全局自增ID生成器
206 0