MySQL中 LBCC 和 MVCC 的理解,常见问题及示例:

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: MySQL中 LBCC 和 MVCC 的理解,常见问题及示例:


参考视频及文章:

1. 事务:

介绍MVCC之前,先介绍下事务:事务是指逻辑上的一组sql操作,要么全部执行成功,要么全部执行失败。事务是为了保证数据库中数据的完整性和一致性

事务的4个基本要素:

  • 原子性(Atomicity):要么同时成功,要么同时失败。(通过 undo log 回滚日志实现)
  • 一致性(Consistency):一方扣款 xxx 元,另一方收款 xxx 元,符合事物发展的正常逻辑(通过 其他3个特性 来保证)
  • 隔离性(Isolation):此时有多个类似 扣款/收款 事件同时发生,每个事件之间是相互独立的(通过 lock锁 + MVCC 实现)
  • 持久性(Durability):不管数据库宕机或重启,数据最终都落到了磁盘上,下次加载依然可见 (通过 redo log 实现)

2. MVCC初探:

目的:主要是为了 提高数据库并发性能。用更好的方式去处理 读/写 冲突,做到即使有 读/写 冲突时,也能做到不加锁,非阻塞并发读。

不同隔离级别下,可能引发的问题:

  • 脏读:并发情况下,一方事务读到了另一方事务 “已 update 但未 commit” 的数据,破坏了事务隔离性
  • 不可重复读:并发情况下,一方事务读到了另一方事务 “已 updatedelete ,并 commit ” 的数据,破坏了事务隔离性
  • 幻读:并发情况下,一方事务读到了另一方事务" insert/deletecommit "的数据,导致前后读取记录数不一致(行记录数多了或少了都算是幻读)。

MVCC中的四种事务隔离级别:

在这里插入图片描述

提问:V1、V2、V3在不同事务隔离级别下读取到的值分别是:
在这里插入图片描述

  • RU-读未提交 级别:20、20、20(可能发生:脏读、不可重复读)
  • RC-读已提交 级别:18、20、20(不可能发生:脏读、可能发生:不可重复度)
  • RR-可重复读 级别:18、18、20 (不可能发生:脏读、不可重复读;但是因为事务A已提交,所以V3再次查询时跟事务A是没有隔离性的要求的,因此V3读取到的是20)

3. LBCC & MVCC:

  • LBCC(Lock-Base Concurrency Control)基于锁的并发控制;
  • MVCC(Multiversion Concurrency Control)多版本并发控制;

LBCC 锁相关:

在这里插入图片描述

  • MySQL 5.5 版本之前,默认的存储引擎是MyISAM,5.5之后默认引擎是Innodb。
  • Innodb支持事务,包括:行锁/表锁,MyISAM不支持。

意向锁

  • 意向共享锁/读锁(IS,表锁类型,无法手动创建):当需要对数据加行级读锁时,MySQL 会先向整个表加意向读锁。 MySQL 中语法: lock in share mode
  • 意向排它锁/写锁(IX,表锁类型,无法手动创建):当需要对数据加行级写锁时,MySQL 会先向整个表加意向写锁。MySQL 中语法: for update

常见问题:为什么要加入意向锁?
  意向锁并不是真正用来锁定数据的,而是用来告诉你当前表中是否已经有了被 共享锁/排它锁 锁定的数据行。如果有就没必要再去加无用的表锁了,起到一个标识作用,提高加表锁的效率(相当于高铁洗手间门上方是否有人正在使用的 “指示灯”)。
  目的:当Innodb需要对一个表上一个表级别的S锁和X锁时,可以快速判断表是否被上行锁,以避免用遍历的方式检验是否上行锁。

  1. 如果意向锁是行锁,则需要遍历每一行数据去确认;
  2. 如果意向锁是表锁,则只需要判断一次即可知道有没数据行被锁定,提升性能。

记录锁(Record Lock)、间隙锁(Gap Lock)、临键锁(Next-Key Lock):

  • 介绍:临键锁 = 记录锁 + 间隙锁,是 RR 可重复读-隔离级别下独有的
  • 目的:间隙锁的出现就是为了解决可重复读隔离级别下的幻读问题

在这里插入图片描述
问题:如图示:执行此sql语句(先开启事务):BEGIN; SELECT * FROM tbl WHERE id > 15 FOR UPDATE; ,以下两个sql语句可以执行成功吗?

  • INSERT INTO tbl VALUES (20, 20);
  • INSERT INTO tbl VALUES (12, 12);

以上两句sql都是不会执行成功的,因为触发了 间隙锁-Gap lock,实际上锁住的范围是 (11, +∞)。实际上锁定范围是根据数据库当前表的记录来划分不同范围段的锁,例如上述例子中:最后一段就锁定的是 (11, +∞)。
因此,走索引是行锁,不走索引是表锁。所以为了避免两个事务同时修改一张表的不同记录会导致表锁的问题,建议加上具体索引,这样就只是行锁,而不会升级为表锁!

MVCC底层实现详解:

  • 快照读(实际上为相关的操作):读取的是记录的可见版本 (有可能是历史版本),不用加锁可以理解为将当前数据库的数据复制一份副本。在当前事务中,之后不管进行多少次 SELECT 查询,都是在副本中去取数据,所以不管数据库中后来是否又对数据进行了改变,都不会影响当前已经 BEGIN 的事务数据的读取。

    • 简单的 SELECT 操作,属于快照读,不加锁。

      • SELECT * FROM user WHERE ?
  • 当前读(实际上为相关的操作):在事务中操作数据前,还要去MySQL中 重新读取一遍该数据对应最新版本的记录,并且 当前读 返回的记录都会加上锁,保证其他事务不会再并发修改这条记录。以下两种方式都属于当前读,需要加锁:

    • 特殊读 (加锁读): SELECT * FROM user WHERE id = xxx LOCK IN SHARE MODE;
    • INSERT / UPDATE / DELETE / SELECT ... FOR UPDATE 等写操作。

问题:在 RR-可重复读 的默认隔离级别下,假设起始的age为18,那么Q1和Q2对应的age分别是多少呢?
这里是引用

在这里插入图片描述

  • 针对 “事务B” 分析:因为存在 UPDATE 操作,触发了 当前读,所以要先去读最新提交的版本号记录(即:事务C UPDATE 后提交的记录),然后事务B再去执行自己的 UPDATE 操作。也就是要先去读事务C提交的最新数据为19,然后事务B自身再 UPDATE 加1最终变为20。
  • 针对 “事务A” 分析:因为事务A本身是没有任何的操作,仅仅是 SELECT 查询操作,触发 快照读。所以事务A只认准事务 BEGIN 开始之前记录的 最新最后提交的版本号,其记录值也就是初始的18。

在这里插入图片描述

  • BEGIN 事务开始的时候会创建一个快照,并为对应事务分配一个事务id,即 TRX_ID
  • 开启事务之前最后的版本号为:up_limit_id=999,对应 age=18
  • 事务B和事务C都有 UPDATE 操作(当前读),所以 row_trx_id 为自身的 TRX_ID 的值,分别是1001和1002。而事务A没有 UPDATE 操作(快照读),所以只认准事务A在 事务开始前 最后的版本号 up_limit_id=999,其 age=18。

但是要注意:RR的默认隔离级别下,不能完全解决幻读的问题。
比如下面的例子:参考 大佬文章

事务1 可重复读&事务手动提交 事务2 可重复读&事务手动提交
begin;
select * from student where id > 0;在这里插入图片描述 begin;
select * from student where id > 0;在这里插入图片描述
insert into student (id, name, sex, age) values(3, 'tom', '男', 66) ;
select * from student where id > 0;在这里插入图片描述
select * from student where id > 0;在这里插入图片描述
commit;
select * from student where id > 0;(快照读:读取历史数据)在这里插入图片描述
update student set sex = '男' where id > 0;(当前读:重新读取一次最新数据)
select * from student where id > 0; 在这里插入图片描述
commit;
注意:事务1能正常 SELECTUPDATE 的前提是:事务2已 COMMIT
注意:如果事务1不执行 UPDATE 操作,那么在最后 SELECT 时,是查询不到事务2新 ISNERT 的记录的。
  • 幻读原因:因为事务1中的 update 操作更新了事务2最新插入的 id=3(name='tom') 的数据,所以事务1在执行 update student set sex = '男' where id > 0;(当前读) 后再去 select * from student where id > 0;会查询出事务2新插入并提交的数据,也就是幻读。如果事务1的 update 操作没有涉及到事务2新插入的数据,那么后续 select 是不会出现幻读的。
  • 底层原因:对于使用InnoDB存储引擎的表来说,它的聚簇索引记录中都包含下面这两个必要的隐藏列(row_id并不是必要的:在创建的表中有主键时,或者有不允许为NULL的UNIQUE键时,都不会包含row_id列)。

    • trx_id:一个事务每次对某条聚簇索引记录进行改动时,都会把该事务的事务id赋值给trx_id隐藏列。
    • roll_pointer:每次对某条聚族索引记录进行改动时,都会把旧的版本写入到undo日志中,这个隐藏列就相当于一个指针,可以通过它找到该记录修改前的信息。
    • 在默认RR的隔离级别下,事务1第一次执行普通 SELECT 语句时生成了一个ReadView版本链,之后事务2向 student 表中新插入一条id=2(name='Tom')的记录并提交。ReadView并不能阻止事务1执行 UPDATE/DELETE 语句来改动这个事务2新插入的记录(由于事务2已经 COMMIT,因此改动该记录并不会造成阻塞)。但是这样一来,这条新记录的 trx_id 隐藏列的值就变成了事务1的事务id,之后事务1再使用普通的 SELECT 语句去查询这条记录时就可以看到这条记录了,也就可以把这条记录返回给客户端。因为这个特殊现象的存在,我们也可以认为InnoDB中的MVCC并不能完全禁止幻读。

也就是说,事务1将新插入数据的事务号修改的小于等于原先ReadView对应的事务版本号了,相当于扩充了ReadView的范围,从而导致事务1在最后一次 SELECT 时,能够查询到 id=3(name='Tom')记录。

  • 解决方法:事务1可以在一开始 SELECT 时就使用 FOR UPDATE 加锁,这样其他事务,比如事务2就不能 INSERTUPDATE 数据。而且事务1还可以执行任意的 INSERTUPDATE 当前读类型语句,并且事务1最后查询的结果集也不会因为幻读而产生新的数据行记录了。
  • 示例总结:如果事务中都使用快照读,那么就不会产生幻读现象;但是如果快照读和当前读混用,就会产生幻读。
  • 另外,补充一张 “在RR的默认隔离级别下,不能完全解决幻读的问题” 的说明图:在这里插入图片描述

总结:

  • 事务:事务是指逻辑上的一组sql操作,要么全部执行成功,要么全部执行失败。其是为了保证数据库中数据的完整性和一致性。事务的4个特性:ACID
  • MVCC的好处:提高数据库并发性能。用更好的方式去处理 读/写 冲突,做到即使有 读/写 冲突 时,也能做到不加锁非阻塞并发读
  • MVCC四种隔离级别 :RU-读未提交RC-读已提交RR-可重复读(MySQL默认级别)、S-串行化
  • MVCC事务隔离级别中,常见的三种问题:脏读幻读不可重复读
  • 在RR的默认隔离级别下,单纯的 SELECT 只触发 “快照读” 。而当你包含 INSERT / UPDATE / DELETE / SELECT ... FOR UPDATE / SELECT LOCK IN SHARE MODE写操作 时,这时就会触发 当前读。也就是在事务中,当前读会在相关写操作之前会再去读取一次其他事务的最后提交记录。这里的关键在于你事务中的sql是单纯的 SELECT 语句(快照读),还是你事务在的sql是包含了INSERT / UPDATE / DELETE / SELECT ... FOR UPDATE / SELECT LOCK IN SHARE MODE 等 写操作(当前读)。
  • 幻读的解决关键在于 间隙锁临键锁(临键锁 = 记录锁 + 间隙锁)
  • 但是在RR的默认隔离级别下,不能完全解决幻读的问题:在触发 INSERT / UPDATE / DELETE / SELECT ... FOR UPDATE / SELECT LOCK IN SHARE MODE当前读的情况下,表明此时需要看到或操作最新的数据(包含其他事务已提交的数据)。

因此 事务中都使用快照读,那么就不会产生幻读现象;但是如果快照读和当前读混用,就会产生幻读。

  • 没有建立索引或索引失效,行锁会升级为表锁,因为找不到对应行记录。所以为了避免两个事务同时修改一张表的不同记录会导致表锁的问题,建议加上索引,这样就只是行锁,而不会升级为表锁!

最后,补充一个问题点:

如果不声明的创建主键,会有哪些危害? 比如你的id(假设int类型)没有声明为主键,并且也没有声明唯一索引(当未声明主键时,唯一索引会被取代为主键)

  1. 行锁升级为表锁
  2. 当数据量达到顶峰的时候,可能会造成“主键冲突”,int的取值范围为2^32 -1,当未声明主键时,达到最大值范围时,id会再次重新从0开使自增,这时候可能会出现覆盖之前row_id记录的情况,造成数据丢失。相反的,如果声明主键的话,那么当id达到上限时,再次insert时会报“主键冲突”错误,这时候可以将之前的 int 类型的id改为big int。
  3. MySQL会自动声明一个“隐藏主键 row_id”,占6字节。而你自己声明int类型的主键时,只会消耗4字节。因此这是一种资源的浪费!
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
分布式计算 关系型数据库 数据处理
Dataphin常见问题之没有建表的权限如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
1月前
|
安全 关系型数据库 数据管理
DMS产品常见问题之香港地区RDS开启安全访问代理失败如何解决
DMS(数据管理服务,Data Management Service)是阿里云提供的一种数据库管理和维护工具,它支持数据的查询、编辑、分析及安全管控;本汇总集中了DMS产品在实际使用中用户常遇到的问题及其相应的解答,目的是为使用者提供快速参考,帮助他们有效地解决在数据管理过程中所面临的挑战。
|
1月前
|
DataWorks 安全 关系型数据库
DMS产品常见问题之香港RDS走代理失败如何解决
DMS(数据管理服务,Data Management Service)是阿里云提供的一种数据库管理和维护工具,它支持数据的查询、编辑、分析及安全管控;本汇总集中了DMS产品在实际使用中用户常遇到的问题及其相应的解答,目的是为使用者提供快速参考,帮助他们有效地解决在数据管理过程中所面临的挑战。
|
1月前
|
SQL 安全 关系型数据库
MySQL有哪些常见问题
MySQL有哪些常见问题
|
1月前
|
关系型数据库 MySQL API
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
SQL DataWorks 关系型数据库
DataWorks常见问题之dataworks同步Rds任务失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
监控 关系型数据库 MySQL
Flink CDC产品常见问题之flink-cdc任务抓取全量的mysql数据不生效如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
2月前
|
关系型数据库 MySQL
|
1月前
|
运维 安全 网络安全
Flink CDC产品常见问题之flink1.18同步mysql-starrocks pipeline时报错如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
消息中间件 关系型数据库 MySQL
Flink CDC产品常见问题之flinkcdc3同步mysql到doris的时候语句不同步如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。