拿捏!隔离级别、幻读、Gap Lock、Next-Key Lock

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 前面我写了很多Mysql相关的知识点,到这一篇稍微可以串一下了,从SQL执行流程、MVCC到锁,很多时候可能觉得对于间隙锁和Next-Key Lock好像已经理解了,但是好像又觉得理解差那么一点意思,这篇文章从头来梳理一下概念,明确一下这些知识。

首先,对于Mysql来说实现了两种行级锁:

共享锁:允许事务读一行数据,一般记为S,也称为读锁

排他锁:允许事务删除或者更新一行数据,一般记为X,也称为写锁

关于读写锁的互斥性,应该都很清楚,读锁只能和读锁兼容,其他场景都无法兼容,这里不再赘述吧。

9b811823a807dd562c1327adbf626e27.jpg

隔离级别

继续回顾下关于Mysql的4个隔离级别:

读未提交Read Uncommitted:能读到其他事务还没有提交的数据,这种现象叫做脏读。

读已提交Read Committed:只会读取其他事务已经提交的数据,所以不会产生RC的脏读问题。所以又带来一个问题叫做不可重复读,一个事务中两次一样的SQL查询可能查到的结果不一样。

可重复读Repeatable Read:RR是Mysql的默认隔离级别,一个事务中两次SQL查询总是会查到一样的结果,不存在不可重复读的问题,但是还是会有幻读的问题。

串行Serializable:串行场景没有任何问题,完全串行化的操作,读加读锁,写加写锁。

a0aa4e4fe7428598f5f1fca2e51de439.jpg

幻读、Next-Key Lock、MVCC

简单的回顾完了基础,那么我们看看RR级别下还会存在的幻读到底是什么问题,Mysql官方文档这样描述的:

The so-called phantom problem occurs within a transaction when the same query produces different sets of rows at different times. For example, if a SELECT is executed twice, but returns a row the second time that was not returned the first time, the row is a “phantom” row.

翻译过来就是,幻读指的是同一事务下,不同的时间点,同样的查询,得到不同的行记录的集合。

如果说一个select执行了两次,但是第二次比第一次多出来行记录,这就是幻读。

所以,对于幻读来说那一定是新增插入的数据!

比如说在一个事务内,先查询select * from user where age=10 for update,得到的结果是id为[1,2,3]的记录,再次执行查询,得到了结果为[1,2,3,4]的记录,这是幻读。

那怎么解决幻读的问题?以前我在文章里说解决幻读的原理是MVCC(MVCC原理看这里)很多网上的文章也有这么写的,其实不能说错,但是肯定也是不太对的,准确地来说应该是通过MVCC+Next-Key Lock的方式才解决了幻读的问题。

对于MVCC中的读可以分为两种,分别叫做快照读当前读(这个当前读的说法我在书里翻了半天也没有找到,但是看网上一堆资料和大佬都叫当前读,那么我们就叫当前读吧,你知道的话可以告诉我哪本书有这个称呼,Mysql我只看见Lock reading或者锁定读的叫法,有的也说锁定读就是当前读,但是并没有找到当前读这种称呼的出处在哪儿)。

快照读就是简单的select查询,查询的都是快照版本,这个场景下因为都是基于MVCC来查询快照的某个版本,所以不会存在幻读的问题,也可以认为是解决了幻读的方案之一,对于RC级别来说,因为每次查询都重新生成一个read view,也就是查询的都是最新的快照数据,所以会可能每次查询到不一样的数据,造成不可重复读,而对于RR级别来说只有第一次的时候生成read view,查询的是事务开始的时候的快照数据,所以就不存在不可重复读的问题,当然就更不可能有幻读的问题了。

所以,现在我们说幻读,其实不是指快照读的场景,而是指的是当前读的场景。

当前读指的是lock in share modefor updateinsertupdatedelete这些需要加锁的操作。对于MVCC来说就是解决的快照读的场景,而对于当前读那么就是Next-Key Lock要解决的事情。

那么Next-Key Lock是什么?怎么解决的幻读?

行锁有写锁X和读锁S两种,实际上行锁有3种实现算法,Next-Key Lock是其中之一。

第一种叫做Record Lock,字面意思,行记录的锁,实际上指的是对索引记录的锁定。

比如执行语句select * from user where age=10 for update,将会锁住user表所有age=10的行记录,所有对age=10的记录的操作都会被阻塞。

第二种都比较熟悉,叫做Gap Lock,也就是间隙锁,它用于锁定的索引之间的间隙,但是不会包含记录本身。

比如语句select * from user where age>1 and age<10 for update,将会锁住age在(1,10)的范围区间,此时其他事务对该区间的操作都会被阻塞。

间隙锁是可重复读RR隔离级别下特有的,另外还有几种场景也会不使用间隙锁。

  1. 事务隔离级别设置为读已提交RC ,这样肯定没有间隙锁了。
  2. Innodb_locks_unsafe_for_binlog设置为1
  3. 另外一种情况适用于主键索引或者唯一索引的等值查询条件,比如select * from user where id=1id是主键索引,这样只使用Record Lock就可以了,因为能唯一锁定一条记录,所以没有必要再加间隙锁了,这是锁降级的过程。

而第三种Next-Key Lock实际上就是相当于Record Lock+Gap Lock的组合。比如索引有10,20,30几个值,那么被锁住的区间可能会是(-∞,10],(10,20],(20,30],(30,+∞)。

解决幻读

上一篇关于更新SQL执行过程我们已经对这个基础有了一定的了解,在这里我们去掉和这里内容无关的一些日志的细节,把给数据加锁的流程加入进去,这样通过SQL执行可以更好地理解Next-Key Lock到底是如何解决幻读的,执行过程如下:

de9815ec86ce2db1c7693bd1abd9f7f7.jpg

  1. 首先第一步Server层会来查询数据
  2. 存储引擎根据查询条件查到数据之后对数据进行加锁,Record Lock或者间隙锁,然后返回数据
  3. Server层拿到数据之后调用API去存储引擎更新数据
  4. 最后存储引擎返回结果,流程结束

搞一张表说明一下,user表有4个字段,id是主键索引,name是唯一索引,age是普通索引,city没有索引,然后插入一些测试数据,下面区分一下几种情况来说明是怎么加Next-Key Lock的,然后就知道为啥会没有幻读的问题了。

e181ac71ec30d4b1ad07bbd3e644a9fd.jpg

没有索引

更新语句update user set city='nanjing' where city='wuhan'会发生什么?

因为city是没有索引的,所以存储引擎只能给所有的记录都加上锁,然后把数据都返回给Server层,然后Server层把city改成nanjing,再更新数据。

因此,首先Record Lock会锁住现有的7条记录,间隙锁则会对主键索引的间隙全部加上间隙锁。

所以,更新的时候没有索引是非常可怕的一件事情,相当于把整个表都给锁了,那表都给锁了当然不存在幻读了。

a6d0f76a03ca0ec47bfd69e95423d3b9.jpg

普通索引

我们再假设一个语句select * from user where age=20 for update

因为age是一个普通索引,存储引擎根据条件过滤查到所有匹配age=20的记录,给他们加上写锁,间隙锁会加在(10,20),(20,30)的区间上,因此现在无论怎样都无法插入age=20的记录了

为什么要锁定这两个区间?如果不锁定这两个区间的话,那么还能插入比如id=11,age=20或者id=21,age=20的记录,这样就存在幻读了。

(那实际上写锁不光是在会加在age普通索引上,还会加在主键索引上,因为数据都是在主键索引下对吧,这个肯定也要加锁的,为了看起来简单点,就不画出来了)

1af4d576f54a67dec21439909ccbdaad.jpg

唯一&主键索引

如果查询的是唯一索引又会发生什么呢?比如有查询语句select * from user where name='b' for update

上面我们提到过,如果是唯一索引或者主键索引的话,并且是等值查询,实际上会发生锁降级,降级为Record Lock,就不会有间隙锁了。

因为主键或者唯一索引能保证值是唯一的,所以也就不需要再增加间隙锁了。

很显然,是无法插入name=b的的记录的,也不存在幻读问题。

如果是范围查询比如id>1 and id<11呢,实际上也是一样的锁定方式,不再赘述。

相比稍微有点不同的是上面也说过,唯一索引不光锁定唯一索引,还会锁定主键索引,主键索引的话只要索引主键索引就行了。

a1648c6aee9fd9206df8c9a5c2605a43.jpg

总结

那最后说了这么多,RR级别下不是都已经解决了幻读的问题吗,怎么还说有幻读的问题呢?

关于这个问题,可以看看这个报出的BUGhttps://bugs.mysql.com/bug.php?id=63870,回复说了这不是BUG,这是符合隔离规范的设计,有兴趣的自己看看吧。

d6408853265668853ef23bd008cdb35d.jpg

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
供应链
软件设计领域的共享锁 Share lock 和乐观锁 optimistic lock 的区别
软件设计领域的共享锁 Share lock 和乐观锁 optimistic lock 的区别
40 0
|
6月前
|
Java 程序员 API
【Lock锁的使用与原理】
【Lock锁的使用与原理】
|
3月前
|
存储 SQL 算法
Innodb锁机制:Next-Key Lock 浅谈
Innodb锁机制:Next-Key Lock 浅谈
27 0
|
11月前
|
存储 SQL NoSQL
mysql锁(全局锁、表锁、行锁、页锁、排他锁、共享锁)
mysql锁(全局锁、表锁、行锁、页锁、排他锁、共享锁)
296 0
|
SQL 缓存 关系型数据库
《深入理解共享锁lock in share mode排他锁for update区别》
《深入理解共享锁lock in share mode排他锁for update区别》
《深入理解共享锁lock in share mode排他锁for update区别》
|
SQL 关系型数据库 MySQL
数据库并发控制、悲观锁(Pessimistic Lock)、乐观锁(Optimistic Lock)、排他锁(Exclusivelocks X锁)、共享锁(Shared Lock S锁)
数据库并发控制、悲观锁(Pessimistic Lock)、乐观锁(Optimistic Lock)、排他锁(Exclusivelocks X锁)、共享锁(Shared Lock S锁)
数据库并发控制、悲观锁(Pessimistic Lock)、乐观锁(Optimistic Lock)、排他锁(Exclusivelocks X锁)、共享锁(Shared Lock S锁)
|
关系型数据库 MySQL Java
白话Mysql的锁和事务隔离级别!死锁、间隙锁你都知道吗?
我们把那些可能会被多个线程同时操作的资源称为临界资源,加锁的目的就是让这些临界资源在同一时刻只能有一个线程可以访问。这是当时在讲synchronized锁时提出的锁的概念。 数据库作为用户共享的一个资源,如何保证数据并发访问一致性也是所有数据库必须解决的问题,如何加锁是数据库并发访问性能的一个重要因素。
|
SQL 关系型数据库 MySQL
MySQL InnoDB中的锁-间隙锁(Gap Lock)
MySQL InnoDB 锁 间隙锁Gap Lock
1797 0
|
关系型数据库 MySQL
MYSQL性能调优08_事务及其ACID属性、脏读、不可重复读、幻读、隔离级别、行锁、表锁、读锁、写锁、间隙锁、临键锁(三)
MYSQL性能调优08_事务及其ACID属性、脏读、不可重复读、幻读、隔离级别、行锁、表锁、读锁、写锁、间隙锁、临键锁(三)
127 0
MYSQL性能调优08_事务及其ACID属性、脏读、不可重复读、幻读、隔离级别、行锁、表锁、读锁、写锁、间隙锁、临键锁(三)
|
SQL 关系型数据库 MySQL
MYSQL性能调优08_事务及其ACID属性、脏读、不可重复读、幻读、隔离级别、行锁、表锁、读锁、写锁、间隙锁、临键锁(一)
MYSQL性能调优08_事务及其ACID属性、脏读、不可重复读、幻读、隔离级别、行锁、表锁、读锁、写锁、间隙锁、临键锁(一)
122 0