[MySQL 源码] 关于bug#65389的碎碎念

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介:

[MySQL Bug] bug#65389  MVCC IS BROKEN WITH IMPLICIT LOCK

该bug在5.5.26中被修复,changelog的描述如下:
If a row was deleted from an InnoDB table, then another row was
re-inserted with the same primary key value, an attempt by a
concurrent transaction to lock the row could succeed when it should
have waited. This issue occurred if the locking select used a WHERE
clause that performed an index scan using a secondary index.
innodb表的某行记录被删除,然后再插入了一个相同Pk值的行。另外一个并发事务能够成功的lock住记录。当使用到二级索引来扫描以lock这个记录时,可能会触发bug。
之前对隐式锁的概念不是很清晰,周末用gdb简单的跟了一下,理了一下backtrace。
.
.
.
.
先来理一理,什么是隐式锁implicit lock。
隐式锁是innodb使用的一种延迟加锁策略,当记录锁冲突并不频繁时,频繁加/释放锁的开销是很大的。隐式锁并不是真正的加锁,只是一种标记,因此开销很低。
#############BEGIN##############

 隐式锁
Lock 是一种悲观的顺序化机制。它假设很可能发生冲突,因此在操作数据时,就加锁。
如果冲突的可能性很小,多数的锁都是不必要的。

Innodb 实现了一个延迟加锁的机制,来减少加锁的数量,在代码中称为隐式锁(Implicit Lock)。
隐式锁中有个重要的元素,事务ID(trx_id).隐式锁的逻辑过程如下:
A. InnoDB的每条记录中都一个隐含的trx_id字段,这个字段存在于簇索引的B+Tree中。
B. 在操作一条记录前,首先根据记录中的trx_id检查该事务是否是活动的事务(未提交或回滚).
如果是活动的事务,首先将隐式锁转换为显式锁(就是为该事务添加一个锁)。
C. 检查是否有锁冲突,如果有冲突,创建锁,并设置为waiting状态。如果没有冲突不加锁,跳到E。
D. 等待加锁成功,被唤醒,或者超时。
E. 写数据,并将自己的trx_id写入trx_id字段。Page Lock可以保证操作的正确性。

相关代码:
A. lock_rec_convert_impl_to_expl()将隐式锁转换成显示锁。
B. 加锁和测试行锁冲突都用lock_rec_lock(),它的第一个参数表示是否是隐式锁。所以要特别
注意这个参数。如果为TRUE,在没有冲突时并不会加锁。
C. 测试行锁的冲突的具体内容在lock_rec_has_wait()
D. 创建waiting锁是lock_rec_enqueue_waiting()
E. 创建行锁是lock_rec_add_to_queue()

– 隐式锁的特点
A. 只有在很可能发生冲突时才加锁,减少了锁的数量。
B. 隐式锁是针对被修改的B+Tree记录,因此都是Record类型的锁。不可能是Gap或Next-Key类型。

– 隐式锁的使用
A. INSERT操作只加隐式锁,不需要显示加锁。
B. UPDATE,DELETE在查询时,直接对查询用的Index和主键使用显示锁,其他索引上使用隐式锁。
理论上说,可以对主键使用隐式锁的。提前使用显示锁应该是为了减少死锁的可能性。
INSERT,UPDATE,DELETE对B+Tree们的操作都是从主键的B+Tree开始,因此对主键加锁可以
有效的阻止死锁。

– Secondary Index上的隐式锁
前边说了, trx_id只存在于主键上,那么辅助索引上如何来实现隐式索引呢?
显然是要通过辅助索引中的主键值,在主键B+Tree上进行二次查找。这个开销是很大的。
InnoDB对这个过程有一个优化:
A. 每个页上有一个MAX_TRX_ID,每次修改辅助索引的记录时,都会更新这个最大事务ID。
B. 当判断是否要将隐式锁变为显式锁时,先将页面的max_trx_id和事务列表的最小trx_id
比较。如果max_trx_id比事务列表的最小trx_id还小,那么就不需要转换为显示锁了。

###################END#########################
简单的记录下backtrace如下:
row_search_for_mysql
    |–> sel_set_rec_lock                 加记录锁函数
          |–>如果是聚集索引:lock_clust_rec_read_check_and_lock
          |–>如果是二级索引:lock_sec_rec_read_check_and_lock
              |–>lock_rec_convert_impl_to_expl  只有这个文件page记录的最大事务ID>=当前事务列表上的最小事务ID时,或者当前正在进行recovery时,一些事务可能在记录上有一个隐式x锁
                  |–>判断是否存在持有隐式锁的事务
                  >>如果是聚集索引:impl_trx = lock_clust_rec_some_has_impl
                  >>如果是二级索引:impl_trx = lock_sec_rec_some_has_impl_off_kernel
                       |–>做一些检查
                       >>当前二级索引页上的MAX_TRX_ID小于当先事务列表上最小事务ID,
                       且不在recovery时,直接返回NULL
                       >>检查事务id是否有效lock_check_trx_id_sanity,页面可能被损坏
                       |–>row_vers_impl_x_locked_off_kernel  检查是否有事务插入或修改了二级索引记录,如果有,则返回该trx
                  |–>如果存在impl_trx
                  >>如果impl_trx没有持有显式锁,则将其转换为显式锁(lock_rec_has_expl) ,
                        并加入到队列中(lock_rec_add_to_queue)
              |–>lock_rec_lock
              |–>lock_rec_queue_validate
函数row_vers_impl_x_locked_off_kernel用于检查是否有事务插入或修改了二级索引记录,
以下是简单的记录:
———————
1)查找二级索引对应的聚集索引记录
    clust_rec = row_get_clust_rec(BTR_SEARCH_LEAF, rec, index,
                      &clust_index, &mtr);
这是个耗时操作,因此会释放kernel mutex;当然释放锁也要遵守latch order约定。在cluster index 记录上的latch锁住了版本栈的顶部,也会保留purge_latch来锁住版本栈的底部。
row_get_clust_rec函数的注释:
Fetches the clustered index record for a secondary index record. The latches
on the secondary index record are preserved.
@return record or NULL, if no record found */
当clust_rec为NULL时,返回NULL,这种情况比较少见。
根据注释的解释,在函数row_undo_mod_remove_clust_low()中我们已经移除了clust rec,而这时候purge还在清理和移除由之前版本的聚集索引记录分配的二级索引记录。这种情况下在二级索引记录上没有任何隐式锁,因为一个已经修改了二级索引记录的活跃事务同样也修改了聚集索引记录。在回滚时也是在聚集索引之前undo二级索引。
2)加latch
mtr_s_lock(&(purge_sys->latch), &mtr);
3)判断clust rec中的trx_id是否还是活跃id,如果不是活跃的,则表明没有隐式锁
4)查看旧版本记录
/* We look up if some earlier version, which was modified by the trx_id
transaction, of the clustered index record would require rec to be in
a different state (delete marked or unmarked, or have different field
values, or not existing). If there is such a version, then rec was
modified by the trx_id transaction, and it has an implicit x-lock on
rec. Note that if clust_rec itself would require rec to be in a
different state, then the trx_id transaction has not yet had time to
modify rec, and does not necessarily have an implicit x-lock on rec. */
5)进入for(;;)循环
trx_undo_prev_version_build() 获取前一个版本的聚集索引记录
if (prev_version == NULL) {
如果事务是活跃事务,表面是刚插入的记录,含有隐式x-lock,获得根据trx_id获得trx
如果非活跃事务,则没有,trx=NULL
然后从for循环里break
}
获取prev_version的删除标记
vers_del = rec_get_deleted_flag(prev_version, comp);
获取prev_version的事务id
prev_trx_id = row_get_rec_trx_id(prev_version, clust_index,
 clust_offsets);
###
if (vers_del && trx_id != prev_trx_id) {
mutex_enter(&kernel_mutex);
break;
}
###这里存在bug#65389,这段判断是没有必要的,应该删除
因为被删除的二级索引记录项可能会被随后的insert重用,导致这里的判断为true。
根据聚集索引记录构建索引项

row = row_build(ROW_COPY_POINTERS, clust_index, prev_version,
clust_offsets, NULL, &ext, heap);
entry = row_build_index_entry(row, ext, index, heap);

当继续往下走时,该事务trx_id依然是活跃的,并修改了之前的版本,检查prev_version是否需要rec在一个不同的状态(翻译自注释)
if (0 == cmp_dtuple_rec(entry, rec, offsets))  //比较构建的entry和二级索引记录是否相同,bug#65389的test case是不相同的
{
//还没跟过,待定….
}else if (!rec_del) {                  //rec_del为false
trx = trx_get_on_id(trx_id);
break;
}
继续判断如果trx_id和prev_trx_id不同,break。
version = prev_version;
继续for循环
6)
最后返回 trx或者NULL
留下的不太清楚的地方:
1.锁的转换、加入队列、死锁判断、页面分裂时的锁迁移
2.二级索引/聚簇索引如何进行Undo log管理

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
8月前
|
Ubuntu 关系型数据库 MySQL
MySQL源码编译安装
本文详细介绍了MySQL 8.0及8.4版本的源码编译安装全过程,涵盖用户创建、依赖安装、cmake配置、编译优化等步骤,并提供支持多Linux发行版的一键安装脚本,适用于定制化数据库部署需求。
2052 4
MySQL源码编译安装
|
10月前
|
NoSQL 关系型数据库 MySQL
在Visual Studio Code中设置MySQL源码调试环境
以上步骤涵盖了在VS Code中设置MySQL源码调试环境的主要过程,是一个相对高级的任务,旨在为希望建立强大开发和调试环境的开发者提供指引。遵循这些步骤,将可以利用VS Code强大的编辑和调试功能来深入理解和改进MySQL数据库的底层实现。
654 0
|
存储 安全 Java
基于Java+MySQL停车场车位管理系统详细设计和实现(源码+LW+调试文档+讲解等)
基于Java+MySQL停车场车位管理系统详细设计和实现(源码+LW+调试文档+讲解等)
|
关系型数据库 MySQL PHP
源码编译安装LAMP(HTTP服务,MYSQL ,PHP,以及bbs论坛)
通过以上步骤,你可以成功地在一台Linux服务器上从源码编译并安装LAMP环境,并配置一个BBS论坛(Discuz!)。这些步骤涵盖了从安装依赖、下载源代码、配置编译到安装完成的所有细节。每个命令的解释确保了过程的透明度,使即使是非专业人士也能够理解整个流程。
480 18
|
JavaScript 安全 Java
java版药品不良反应智能监测系统源码,采用SpringBoot、Vue、MySQL技术开发
基于B/S架构,采用Java、SpringBoot、Vue、MySQL等技术自主研发的ADR智能监测系统,适用于三甲医院,支持二次开发。该系统能自动监测全院患者药物不良反应,通过移动端和PC端实时反馈,提升用药安全。系统涵盖规则管理、监测报告、系统管理三大模块,确保精准、高效地处理ADR事件。
640 1
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,并与使用 RPM 包安装进行了对比。通过具体案例,读者可以了解如何准备环境、下载源码、编译安装、配置服务及登录 MySQL。编译源码安装虽然复杂,但提供了更高的定制性和灵活性,适用于需要高度定制的场景。
824 3
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
1561 2
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤
【10月更文挑战第7天】本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据自身需求选择合适的方法。
617 3
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置服务等,并与使用 RPM 包安装进行了对比,帮助读者根据需求选择合适的方法。编译源码安装虽然复杂,但提供了更高的定制性和灵活性。
661 2
|
前端开发 Java 数据库连接
表白墙/留言墙 —— 中级SpringBoot项目,MyBatis技术栈MySQL数据库开发,练手项目前后端开发(带完整源码) 全方位全步骤手把手教学
本文是一份全面的表白墙/留言墙项目教程,使用SpringBoot + MyBatis技术栈和MySQL数据库开发,涵盖了项目前后端开发、数据库配置、代码实现和运行的详细步骤。
478 0
表白墙/留言墙 —— 中级SpringBoot项目,MyBatis技术栈MySQL数据库开发,练手项目前后端开发(带完整源码) 全方位全步骤手把手教学

推荐镜像

更多