[MySQL 源码] 关于bug#65389的碎碎念

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

[MySQL Bug] bug#65389  MVCC IS BROKEN WITH IMPLICIT LOCK

该bug在5.5.26中被修复,changelog的描述如下:
If a row was deleted from an InnoDB table, then another row was
re-inserted with the same primary key value, an attempt by a
concurrent transaction to lock the row could succeed when it should
have waited. This issue occurred if the locking select used a WHERE
clause that performed an index scan using a secondary index.
innodb表的某行记录被删除,然后再插入了一个相同Pk值的行。另外一个并发事务能够成功的lock住记录。当使用到二级索引来扫描以lock这个记录时,可能会触发bug。
之前对隐式锁的概念不是很清晰,周末用gdb简单的跟了一下,理了一下backtrace。
.
.
.
.
先来理一理,什么是隐式锁implicit lock。
隐式锁是innodb使用的一种延迟加锁策略,当记录锁冲突并不频繁时,频繁加/释放锁的开销是很大的。隐式锁并不是真正的加锁,只是一种标记,因此开销很低。
#############BEGIN##############

 隐式锁
Lock 是一种悲观的顺序化机制。它假设很可能发生冲突,因此在操作数据时,就加锁。
如果冲突的可能性很小,多数的锁都是不必要的。

Innodb 实现了一个延迟加锁的机制,来减少加锁的数量,在代码中称为隐式锁(Implicit Lock)。
隐式锁中有个重要的元素,事务ID(trx_id).隐式锁的逻辑过程如下:
A. InnoDB的每条记录中都一个隐含的trx_id字段,这个字段存在于簇索引的B+Tree中。
B. 在操作一条记录前,首先根据记录中的trx_id检查该事务是否是活动的事务(未提交或回滚).
如果是活动的事务,首先将隐式锁转换为显式锁(就是为该事务添加一个锁)。
C. 检查是否有锁冲突,如果有冲突,创建锁,并设置为waiting状态。如果没有冲突不加锁,跳到E。
D. 等待加锁成功,被唤醒,或者超时。
E. 写数据,并将自己的trx_id写入trx_id字段。Page Lock可以保证操作的正确性。

相关代码:
A. lock_rec_convert_impl_to_expl()将隐式锁转换成显示锁。
B. 加锁和测试行锁冲突都用lock_rec_lock(),它的第一个参数表示是否是隐式锁。所以要特别
注意这个参数。如果为TRUE,在没有冲突时并不会加锁。
C. 测试行锁的冲突的具体内容在lock_rec_has_wait()
D. 创建waiting锁是lock_rec_enqueue_waiting()
E. 创建行锁是lock_rec_add_to_queue()

– 隐式锁的特点
A. 只有在很可能发生冲突时才加锁,减少了锁的数量。
B. 隐式锁是针对被修改的B+Tree记录,因此都是Record类型的锁。不可能是Gap或Next-Key类型。

– 隐式锁的使用
A. INSERT操作只加隐式锁,不需要显示加锁。
B. UPDATE,DELETE在查询时,直接对查询用的Index和主键使用显示锁,其他索引上使用隐式锁。
理论上说,可以对主键使用隐式锁的。提前使用显示锁应该是为了减少死锁的可能性。
INSERT,UPDATE,DELETE对B+Tree们的操作都是从主键的B+Tree开始,因此对主键加锁可以
有效的阻止死锁。

– Secondary Index上的隐式锁
前边说了, trx_id只存在于主键上,那么辅助索引上如何来实现隐式索引呢?
显然是要通过辅助索引中的主键值,在主键B+Tree上进行二次查找。这个开销是很大的。
InnoDB对这个过程有一个优化:
A. 每个页上有一个MAX_TRX_ID,每次修改辅助索引的记录时,都会更新这个最大事务ID。
B. 当判断是否要将隐式锁变为显式锁时,先将页面的max_trx_id和事务列表的最小trx_id
比较。如果max_trx_id比事务列表的最小trx_id还小,那么就不需要转换为显示锁了。

###################END#########################
简单的记录下backtrace如下:
row_search_for_mysql
    |–> sel_set_rec_lock                 加记录锁函数
          |–>如果是聚集索引:lock_clust_rec_read_check_and_lock
          |–>如果是二级索引:lock_sec_rec_read_check_and_lock
              |–>lock_rec_convert_impl_to_expl  只有这个文件page记录的最大事务ID>=当前事务列表上的最小事务ID时,或者当前正在进行recovery时,一些事务可能在记录上有一个隐式x锁
                  |–>判断是否存在持有隐式锁的事务
                  >>如果是聚集索引:impl_trx = lock_clust_rec_some_has_impl
                  >>如果是二级索引:impl_trx = lock_sec_rec_some_has_impl_off_kernel
                       |–>做一些检查
                       >>当前二级索引页上的MAX_TRX_ID小于当先事务列表上最小事务ID,
                       且不在recovery时,直接返回NULL
                       >>检查事务id是否有效lock_check_trx_id_sanity,页面可能被损坏
                       |–>row_vers_impl_x_locked_off_kernel  检查是否有事务插入或修改了二级索引记录,如果有,则返回该trx
                  |–>如果存在impl_trx
                  >>如果impl_trx没有持有显式锁,则将其转换为显式锁(lock_rec_has_expl) ,
                        并加入到队列中(lock_rec_add_to_queue)
              |–>lock_rec_lock
              |–>lock_rec_queue_validate
函数row_vers_impl_x_locked_off_kernel用于检查是否有事务插入或修改了二级索引记录,
以下是简单的记录:
———————
1)查找二级索引对应的聚集索引记录
    clust_rec = row_get_clust_rec(BTR_SEARCH_LEAF, rec, index,
                      &clust_index, &mtr);
这是个耗时操作,因此会释放kernel mutex;当然释放锁也要遵守latch order约定。在cluster index 记录上的latch锁住了版本栈的顶部,也会保留purge_latch来锁住版本栈的底部。
row_get_clust_rec函数的注释:
Fetches the clustered index record for a secondary index record. The latches
on the secondary index record are preserved.
@return record or NULL, if no record found */
当clust_rec为NULL时,返回NULL,这种情况比较少见。
根据注释的解释,在函数row_undo_mod_remove_clust_low()中我们已经移除了clust rec,而这时候purge还在清理和移除由之前版本的聚集索引记录分配的二级索引记录。这种情况下在二级索引记录上没有任何隐式锁,因为一个已经修改了二级索引记录的活跃事务同样也修改了聚集索引记录。在回滚时也是在聚集索引之前undo二级索引。
2)加latch
mtr_s_lock(&(purge_sys->latch), &mtr);
3)判断clust rec中的trx_id是否还是活跃id,如果不是活跃的,则表明没有隐式锁
4)查看旧版本记录
/* We look up if some earlier version, which was modified by the trx_id
transaction, of the clustered index record would require rec to be in
a different state (delete marked or unmarked, or have different field
values, or not existing). If there is such a version, then rec was
modified by the trx_id transaction, and it has an implicit x-lock on
rec. Note that if clust_rec itself would require rec to be in a
different state, then the trx_id transaction has not yet had time to
modify rec, and does not necessarily have an implicit x-lock on rec. */
5)进入for(;;)循环
trx_undo_prev_version_build() 获取前一个版本的聚集索引记录
if (prev_version == NULL) {
如果事务是活跃事务,表面是刚插入的记录,含有隐式x-lock,获得根据trx_id获得trx
如果非活跃事务,则没有,trx=NULL
然后从for循环里break
}
获取prev_version的删除标记
vers_del = rec_get_deleted_flag(prev_version, comp);
获取prev_version的事务id
prev_trx_id = row_get_rec_trx_id(prev_version, clust_index,
 clust_offsets);
###
if (vers_del && trx_id != prev_trx_id) {
mutex_enter(&kernel_mutex);
break;
}
###这里存在bug#65389,这段判断是没有必要的,应该删除
因为被删除的二级索引记录项可能会被随后的insert重用,导致这里的判断为true。
根据聚集索引记录构建索引项

row = row_build(ROW_COPY_POINTERS, clust_index, prev_version,
clust_offsets, NULL, &ext, heap);
entry = row_build_index_entry(row, ext, index, heap);

当继续往下走时,该事务trx_id依然是活跃的,并修改了之前的版本,检查prev_version是否需要rec在一个不同的状态(翻译自注释)
if (0 == cmp_dtuple_rec(entry, rec, offsets))  //比较构建的entry和二级索引记录是否相同,bug#65389的test case是不相同的
{
//还没跟过,待定….
}else if (!rec_del) {                  //rec_del为false
trx = trx_get_on_id(trx_id);
break;
}
继续判断如果trx_id和prev_trx_id不同,break。
version = prev_version;
继续for循环
6)
最后返回 trx或者NULL
留下的不太清楚的地方:
1.锁的转换、加入队列、死锁判断、页面分裂时的锁迁移
2.二级索引/聚簇索引如何进行Undo log管理

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
监控 数据可视化 关系型数据库
微服务架构+Java+Spring Cloud +UniApp +MySql智慧工地系统源码
项目管理:项目名称、施工单位名称、项目地址、项目地址、总造价、总面积、施工准可证、开工日期、计划竣工日期、项目状态等。
307 6
|
3月前
|
JavaScript 关系型数据库 MySQL
基于JavaWeb和mysql实现校园订餐前后台管理系统(源码+数据库)
基于JavaWeb和mysql实现校园订餐前后台管理系统(源码+数据库)
|
3月前
|
NoSQL 关系型数据库 MySQL
基于Python和mysql开发的智慧校园答题考试系统(源码+数据库+程序配置说明书+程序使用说明书)
基于Python和mysql开发的智慧校园答题考试系统(源码+数据库+程序配置说明书+程序使用说明书)
|
3月前
|
NoSQL Java 关系型数据库
基于java swing和mysql实现的汽车租赁管理系统(源码+数据库+文档+运行指导视频)
基于java swing和mysql实现的汽车租赁管理系统(源码+数据库+文档+运行指导视频)
|
3月前
|
NoSQL Java 关系型数据库
基于Java swing和mysql实现酒店管理系统(源码+数据库+运行指导视频+系统用户使用手册+系统PPT+数据库设计说明书+系统概要说明书+需求说明书+详细说明书)
基于Java swing和mysql实现酒店管理系统(源码+数据库+运行指导视频+系统用户使用手册+系统PPT+数据库设计说明书+系统概要说明书+需求说明书+详细说明书)
|
3月前
|
NoSQL 关系型数据库 MySQL
基于Python和mysql开发的BBS问答社区管理系统(源码+数据库+程序配置说明书+程序使用说明书)
基于Python和mysql开发的BBS问答社区管理系统(源码+数据库+程序配置说明书+程序使用说明书)
|
3月前
|
前端开发 IDE Java
基于Springboot+MYSQL+Maven实现的宠物医院管理系统(源码+数据库+运行指导文档+项目运行指导视频)
基于Springboot+MYSQL+Maven实现的宠物医院管理系统(源码+数据库+运行指导文档+项目运行指导视频)
164 0
|
7天前
|
Java 关系型数据库 MySQL
一套java+ spring boot与vue+ mysql技术开发的UWB高精度工厂人员定位全套系统源码有应用案例
UWB (ULTRA WIDE BAND, UWB) 技术是一种无线载波通讯技术,它不采用正弦载波,而是利用纳秒级的非正弦波窄脉冲传输数据,因此其所占的频谱范围很宽。一套UWB精确定位系统,最高定位精度可达10cm,具有高精度,高动态,高容量,低功耗的应用。
一套java+ spring boot与vue+ mysql技术开发的UWB高精度工厂人员定位全套系统源码有应用案例
|
16天前
|
监控 数据可视化 安全
智慧工地SaaS可视化平台源码,PC端+APP端,支持二开,项目使用,微服务+Java++vue+mysql
环境实时数据、动态监测报警,实时监控施工环境状态,有针对性地预防施工过程中的环境污染问题,打造文明生态施工,创造绿色的生态环境。
13 0
智慧工地SaaS可视化平台源码,PC端+APP端,支持二开,项目使用,微服务+Java++vue+mysql
|
16天前
|
监控 安全 关系型数据库
基于vue2 + element +mysql医院不良事件上报系统源码
不良事件管理系统从时间上报、PDCA分析、事件整改、评估效果实行闭环管理和分析,满足医院追根溯源,全流程闭环管理,提高不良事件上报率,减少同类不良事件发生,提高医疗安全。通过报告不良事件,及时发现潜在的不安全因素
19 1