MySQL的Slow_log如何记录SQL的MDL锁耗时

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL的Slow_log如何记录SQL的MDL锁耗时

操作环境

数据库版本:mysql-5.6.24 source code

操作系统版本:CentOS Linux release 7.6.1810 (Core)

现象

MySQL的慢日志判断逻辑是根据utime_after_lock 加上long_query_time的值与end_utime_of_query时间做比较判断的,要分析MDL锁在MySQL的慢日志中的记录逻辑,先看如下2个测试场景:

场景1:MDL请求正常执行完

执行请求1:

image-20200906173440367.png

执行请求2:

image-20200906173505344.png

由于请求1持有MDL锁未释放,请求2被阻塞,处于Waiting for table metadata lock状态,此时的long_query_time为10S:

image-20200906173607474.png
回滚请求1,此时请求2执行完成,查看慢日志记录情况:

image-20200906173919485.png

image-20200906173931664.png

此时,慢日志并未记录请求2的alter操作。

场景2:MDL请求被KILL

重复"MDL请求正常执行完"章节的请求1和请求2,当请求2阻塞超过10S时,手动终止alter 操作,查看慢日志的记录情况:

image-20200906191156448.png

image-20200906191212800.png

此时,慢日志记录了alter操作。并且query time为7分52秒,lock_time为0。

推测

通过上面的测试,MDL请求耗时在特定情况会计入慢日志,通过之前文章的慢日志函数分析,最终判断SQL是否是慢日志的函数为THD::update_server_status(),这里面起到关键作用的是utime_after_lock 变量。也就是上面的2种行为对应了utime_after_lock 的2种变化,当"MDL请求正常执行完"时,utime_after_lock 在SQL的执行过程中重新(较SQL开始时的初始化的赋值)做了赋值,而当"MDL请求被KILL"时,utime_after_lock 没有进行新的赋值。导致在进入THD::update_server_status()函数时,出现两种不同的现象。

调试分析

为了验证上面的推测,在该函数设置断点,复现2个现象,查看运行到该函数时,utime_after_lock 的变化:

场景1:MDL请求执行完

请求2添加索引(alter table)开始执行时间:21:00:55

请求1回滚(rollback)时间:21:1:14

THD::update_server_status()函数utime_after_lock值:21:1:14

当MDL请求正常执行完时,虽然请求2被请求1的元数据锁阻塞了很久(21:1:14减去21:00:55),但是当请求1回滚后,请求2的alter操作执行到THD::update_server_status()函数时,其utime_after_lock为21:1:14,并不是请求2的开始执行时间。

场景2:MDL请求被KILL

请求2添加索引(alter table)开始执行时间:20:52:23

请求2终止时间:20:53:10

THD::update_server_status()函数utime_after_lock值:20:52:24

当MDL请求被kill时,虽然请求2被请求1的元数据锁阻塞了很久(20:53:10减去20:52:23),但是当请求2被kill后,请求2执行到THD::update_server_status()函数时,其utime_after_lock为20:52:24,并不是请求2的终止执行时间,而与请求2的开始执行时间相近。

通过这两个结果的对比,也进一步的证明了之前推测的结论,也就导致被kill的 query会出现在慢日志中。

找到关键函数

对源码进行检索,MySQL中有三个函数会对utime_after_lock 的值进行改变:

thd_storage_lock_wait():

void thd_storage_lock_wait(THD *thd, long long value)

{

thd->utime_after_lock+= value;

}

调试该函数,发现该函数是引擎层调用,由于MDL并未进入引擎层,这不是当前问题需要关注的函数。

THD::set_time():

inline void set_time()

{

start_utime= utime_after_lock= my_micro_time();

if (user_time.tv_sec || user_time.tv_usec)

{

start_time= user_time;

}

else

my_micro_time_to_timeval(start_utime, &start_time);

#ifdef HAVE_PSI_THREAD_INTERFACE

PSI_THREAD_CALL(set_thread_start_time)(start_time.tv_sec);

#endif

}

inline void set_time(const struct timeval *t)

{

start_time= user_time= *t;

start_utime= utime_after_lock= my_micro_time();

#ifdef HAVE_PSI_THREAD_INTERFACE

PSI_THREAD_CALL(set_thread_start_time)(start_time.tv_sec);

#endif

}

调试该函数,该函数主要用于线程以及请求开始、执行过程中的start_utime、utime_after_lock等变量的初始化或者设置。也不是当前问题需要关注的函数。

THD::set_time_after_lock():

void set_time_after_lock()

{

utime_after_lock= my_micro_time();

MYSQL_SET_STATEMENT_LOCK_TIME(m_statement_psi, (utime_after_lock - start_utime));

}

调试该函数,该函数会在mysql_lock_tables()函数进行调用,这属于MySQL server层的调用,是判断MDL的utime_after_lock赋值问题要关注的函数

对THD::set_time_after_lock设置断点

通过对THD::set_time_after_lock函数设置断点,复现场景1与场景2,结果如下:

场景1:MDL请求正常执行完

在该场景下,当请求1执行rollback后,请求2停留在断点处,堆栈如下:

image.png

可以看到,mysql_lock_tables()函数会调用 THD::set_time_after_lock,mysql_lock_tables()函数调用THD::set_time_after_lock的位置在函数的最后,如下:

image-20200907004022553.png

场景2:MDL请求被KILL

在该场景下,当请求2被kill query后,请求2直接终止并提示ERROR 1317 (70100): Query execution was interrupted,不会触发断点。

结论

通过测试验证,MDL在特殊情况下计入慢日志的主要原因是没有运行到mysql_lock_tables()函数的 thd->set_time_after_lock()操作,导致utime_after_lock变量没有被正确赋值。以至于在做慢日志判断时,使用的依然是较早的(SQL开始初始化时)的utime_after_lock,导致THD::update_server_status()判断时认为是慢日志。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
SQL 关系型数据库 MySQL
MySQL 锁
MySQL里常见的几种锁
53 3
|
15天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
123 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
10天前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1643 14
|
11天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
1月前
|
存储 关系型数据库 MySQL
优化 MySQL 的锁机制以提高并发性能
【10月更文挑战第16天】优化 MySQL 锁机制需要综合考虑多个因素,根据具体的应用场景和需求进行针对性的调整。通过不断地优化和改进,可以提高数据库的并发性能,提升系统的整体效率。
68 1
|
1月前
|
SQL 数据库
为什么 SQL 日志文件很大,我应该如何处理?
为什么 SQL 日志文件很大,我应该如何处理?
|
1月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
28 1
|
1月前
|
关系型数据库 MySQL Java
MySQL数据锁:Record Lock,Gap Lock 和 Next-Key Lock
本文基于 MySQL 8.0.30 版本及 InnoDB 引擎,深入解析三种行锁机制:记录锁(Record Lock)、间隙锁(Gap Lock)和临键锁(Next-key Lock)。记录锁锁定索引记录,确保事务唯一修改;间隙锁锁定索引间的间隙,防止新记录插入;临键锁结合两者,锁定范围并记录自身,有效避免幻读现象。通过具体示例展示了不同锁的作用机制及其在并发控制中的应用。
148 2
|
1月前
|
存储 关系型数据库 MySQL
MySQL数据库锁:共享锁和独占锁
本文详细介绍了`InnoDB`存储引擎中的两种行级别锁:共享锁(S锁)与排他锁(X锁)。通过具体示例展示了这两种锁的工作机制及其在`InnoDB`与`MyISAM`引擎中的表现差异。文章还提供了锁的兼容性矩阵,帮助读者更好地理解锁之间的互斥关系。最后总结了两种锁的特点及适用场景。适合希望深入了解`MySQL`并发控制机制的读者阅读。
58 1
下一篇
无影云桌面