每日一面 - mysql 的自增 id 的实现逻辑是什么样子的?

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 每日一面 - mysql 的自增 id 的实现逻辑是什么样子的?
本问题参考自: https://www.zhihu.com/question/437916819/answer/1661679374, 解答为 个人原创


Key TakeAways


  • InnoDB 引擎中 有三种 AutoIncrement 锁模式
  • innodb_autoinc_lock_mode=0(traditional lock mode):获取表锁,语句执行结束后释放
  • innodb_autoinc_lock_mode=1(consecutive lock mode,MySQL 8.0 之前默认 ):对于不确定插入数量的语句(例如INSERT ... SELECT, REPLACE ... SELECTLOAD DATA)和 innodb_autoinc_lock_mode=0 一样,其他的确定数量的语句在执行前先批量获取 id之后再执行语句
  • innodb_autoinc_lock_mode=2(interleaved lock mode,MySQL 8.0+ 默认 ):采用乐观锁, CAS 更新计数器获取。


  • AutoIncrement 计数器在 MySQL 8.0 之前,存储在内存中,在 MySQL 8.0 之后,持久化存储到磁盘。通过每次更新写入 Redo Log,并在检查点刷入 innodb 引擎表中记录下来。
  • AutoIncrement 的 id 可以让新数据聚集在一起,利于大部分 OLTP 业务(访问频率在最近一天,一周,或者几个月内比较活跃,而超过一段时间内的数据很少访问)。如果是这类业务推荐使用自增主键,将业务主键(UUID)作为二级的唯一索引使用。
  • 如果考虑分布式性能以及避免 AutoIncrement 带来的锁性能问题,可以考虑使用 ID 生成器生成:全局趋势增长的主键


为何主键要 Auto Increment 而不是 UUID


MySQL InnoDB 引擎默认主键索引是 B+ 树索引,也是聚集索引,为何叫聚集索引呢?

以 InnoDB 作为存储引擎的表,表中的数据都会有一个主键,即使你不创建主键,系统也会帮你创建一个隐式的主键。这是因为 InnoDB 是把数据存放在 B+ 树中的,而 B+ 树的键值就是主键,在 B+ 树的叶子节点中,存储了表中所有的数据。这种以主键作为 B+ 树索引的键值而构建的 B+ 树索引,我们称之为聚集索引。


存储中,聚集索引的数据,会根据索引的值,对应的数据也会聚集存储在一起:


微信图片_20220624200559.jpg


MySQL 读取磁盘上的数据是一页一页读取的,如果某条我们要处理的数据在某一页中,但是这一页其他数据我们都不关心,这样的请求多了,性能会急剧下降,类似于 CPU 的 false sharing:


微信图片_20220624200626.jpg


按照 B+ 树的原理,AutoIncrement 的 ID 能保证最新的数据在一页中被读取,而且减少了 B+ 树分裂翻转。 UUID 由于无序,插入时,B+ 树会不断翻转,并且最新的数据可能不在同一页。很可能会出现,最新一条数据,和好几年前的数据在同一页。


在大部分 OLTP 类业务中,例如购物和支付交易的订单,节日促销的抽奖活动这类业务都有这样的使用场景,访问频率在最近一天,一周,或者几个月内比较活跃,而超过一段时间内的数据很少访问。如果是这类业务推荐使用自增主键,将业务主键(UUID)作为二级的唯一索引使用。 如果考虑分布式性能以及避免 AutoIncrement 带来的锁性能问题,可以考虑使用 ID 生成器生成全局趋势增长的主键,例如 Twitter 的 Snowflake 算法生成的前面是时间戳的主键id,或者是 类似于这种 "时间+业务+自增"(例如 20210105105811233ORD0000001) 字符串,作为主键id,这样其实也能近似保证热数据聚集存储在一起,也就是 MySQL 一页一页读取能命中更多要读取处理的数据


AutoIncrement 原理


我们这里只关心 InnoDB 引擎的。


AutoIncrement 最大值

AutoIncrement 最大值,和列类型相关。最大可以设置列类型为 UNSIGNED BIGINT,这样最大值就是 18446744073709551615。 超过这个值继续生成则还是 18446744073709551615。不会再增加。


AutoIncrement 锁模式

获取 AutoIncrement 最新值,需要涉及到锁。目前有三种锁模式,对应 innodb_autoinc_lock_mode 的值, 0 ,1,2. MySQL 8.0 之后,默认为 2, 在这之前,默认为 1

  • innodb_autoinc_lock_mode=0(traditional lock mode) 传统的auto_increment机制,这种模式下所有针对auto_increment列的插入操作都会加表级别的AUTO-INC锁,在语句执行结束则会释放,分配的值也是一个个分配,是连续的,正常情况下也不会有间隙(当然如果事务rollback了这个auto_increment值就会浪费掉,从而造成间隙)。
  • innodb_autoinc_lock_mode=1(consecutive lock mode) 这种情况下,针对未知数量批量插入(例如INSERT ... SELECT, REPLACE ... SELECTLOAD DATA)才会采用AUTO-INC锁这种方式,而针对已知数量的普通插入,则采用了一种新的轻量级的互斥锁来分配auto_increment列的值。这种锁,只会持续到获取一定数量的 id,不会等待语句执行结束在释放。也就是拿轻量级锁提前分配好所需数量的 id 之后释放锁,再执行语句。当然,如果其他事务已经持有了AUTO-INC锁,则simple inserts需要等待。当然,这种情况下,可能产生的间隙更多。
  • innodb_autoinc_lock_mode=2(interleaved lock mode) 这种模式下任何类型的inserts都不会采用AUTO-INC锁,性能最好,但是在同一条语句内部产生auto_increment值间隙。其实这个就是所有语句对于同一个值进行 Compare-And-Set 更新,类似于乐观锁。这个锁模式对statement-based replication的主从同步都有一定问题。因为同步传输的是语句,而不是行值,语句执行后的差异导致主从可能主键不一致


AutoIncrement 存储


AutoIncrement 计数器在 MySQL 8.0 之前,存储在内存中,每次启动时通过以下语句初始化:

SELECT MAX(ai_col) FROM table_name FOR UPDATE;

在 MySQL 8.0 之后,持久化存储到磁盘。通过每次更新写入 Redo Log,并在检查点刷入 innodb 引擎表中记录下来。

所以,在MySQL 8.0 之前,如果 rollback 导致某些值没有使用,重启后,这些值还是会使用。但是在 MySQL 8.0 之后就不会了

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
NoSQL 关系型数据库 MySQL
2024Mysql And Redis基础与进阶操作系列(4-2)作者——LJS[含MySQL非空、唯一性、PRIMARY KEY、自增列/自增约束举例说明等详解步骤及常见报错问题对应的解决方法]
24MySQL非空、唯一性、PRIMARY KEY、自增列/自增约束举例说明等详解步骤及常见报错问题对应的解决方法(4-2) 学不会你来砍我!!!
|
18天前
|
存储 关系型数据库 MySQL
MySQL主键谁与争锋:MySQL为何钟爱自增主键ID+UUID?
本文深入探讨了在MySQL中使用自增类型主键的优势与局限性。自增主键通过保证数据的有序性和减少索引维护成本,提升了查询和插入性能,简化了数据库管理和维护,并提高了数据一致性。然而,在某些业务场景下,如跨表唯一性需求或分布式系统中,自增主键可能无法满足要求,且存在主键值易预测的安全风险。因此,选择主键类型时需综合考虑业务需求和应用场景。
22 2
|
5月前
|
关系型数据库 MySQL
MySQL自增ID用完会怎样?
MySQL自增ID用完会怎样?
|
2月前
|
监控 关系型数据库 MySQL
MySQL自增ID耗尽应对策略:技术解决方案全解析
在数据库管理中,MySQL的自增ID(AUTO_INCREMENT)属性为表中的每一行提供了一个唯一的标识符。然而,当自增ID达到其最大值时,如何处理这一情况成为了数据库管理员和开发者必须面对的问题。本文将探讨MySQL自增ID耗尽的原因、影响以及有效的应对策略。
169 3
|
2月前
|
存储 关系型数据库 MySQL
MySQL 8.0特性-自增变量的持久化
【11月更文挑战第8天】在 MySQL 8.0 之前,自增变量(`AUTO_INCREMENT`)的行为在服务器重启后可能会发生变化,导致意外结果。MySQL 8.0 引入了自增变量的持久化特性,将其信息存储在数据字典中,确保重启后的一致性。这提高了开发和管理的稳定性,减少了主键冲突和数据不一致的风险。默认情况下,MySQL 8.0 启用了这一特性,但在升级时需注意行为变化。
|
2月前
|
存储 监控 关系型数据库
MySQL自增ID耗尽解决方案:应对策略与实践技巧
在MySQL数据库中,自增ID(AUTO_INCREMENT)是一种特殊的属性,用于自动为新插入的行生成唯一的标识符。然而,当自增ID达到其最大值时,会发生什么?又该如何解决?本文将探讨MySQL自增ID耗尽的问题,并提供一些实用的解决方案。
64 1
|
3月前
|
SQL 关系型数据库 MySQL
MySQL设置表自增步长
MySQL设置表自增步长
144 0
|
5月前
|
安全 关系型数据库 MySQL
揭秘MySQL海量数据迁移终极秘籍:从逻辑备份到物理复制,解锁大数据迁移的高效与安全之道
【8月更文挑战第2天】MySQL数据量很大的数据库迁移最优方案
856 17
|
6月前
|
关系型数据库 MySQL 数据库
mysql,归零,无法自动排序,删除id,表单的数据没有从零开始出现怎样解决?删除数据仍然从删除的地方该怎样解决?表单的数据没有从2开始,而是从之前的删除的序号开始自增。
mysql,归零,无法自动排序,删除id,表单的数据没有从零开始出现怎样解决?删除数据仍然从删除的地方该怎样解决?表单的数据没有从2开始,而是从之前的删除的序号开始自增。
|
18天前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
44 3