MySQL内核月报 2014.11-MySQL· 捉虫动态·OPTIMIZE 不存在的表

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介:

bug 描述

这是一个和 GTID 相关的Bug,也就是说5.6才会有,并且出现这个 bug 需要满足条件:

  1. 做修改性质的表管理操作,如 OPTIMIZE/ANALYZE/REPAIR 可以,CHECK 就不可以
  2. 操作对应的表不存在
  3. gtid_next 被设置为一个固定的值,并且 binlog 开启

在同时满足这3种条件下,会发现记录binlog时,对应的 Gtid_log_event 中的UUID会记为 00000000-0000-0000-0000-000000000000,并且这个对应的 gtid 不会记入 Executed_Gtid_Set。

bug影响

从 bug 描述可以看出,这个 bug 的表现特征就是 gtid_event 记错了,因此单实例的话基本不受影响的,因为主备复制时才会用到 gtid,所以主备场景会受到这个bug的影响。下面我们看下主备场景下这个bug是如何影响的:

M<->S : M 和 S 互为主备,都是5.6,以 gtid 协议进行复制,M是主库。

假设我们在主库上执行了 OPTIMIZE TABLE non_exist_table,这时候 gtid_next = 'AUTOMATIC',不是一个固定值,所以主库的 gtid 记录还是正常的,假设这时生成的 gtid_log_event 为 f3c1dd3e-395d-11e4-be45-4cb16c8f4abc:5,binlog 传到备库后,SQL 线程在 apply 的时候,会先将 f3c1dd3e-395d-11e4-be45-4cb16c8f4abc:5 设置为 gtid_next,然后同样做 OPTIMIZE TABLE non_exist_table,这个时候就触发了bug,备库的 gtid_log_event 记为00000000-0000-0000-0000-000000000000:5,并且不记入 Executed_Gtid_Set。主库继续接收用户的更新,同时会将备库的 binlog 拉过去应用,当做到 00000000-0000-0000-0000-000000000000:5 时,发现这个不在 Executed_Gtid_Set 中,就会执行,同样触发 bug, gtid_log_event 记为00000000-0000-0000-0000-000000000000:5,并且同样不记入 Executed_Gtid_Set。如此这样循环往复,会发现 OPTIMIZE TABLE non_exist_table 对应的binlog 在主备之前循环,充斥在 binlog 和 relay log 中。

bug 分析

之所以出现这个bug,是因为表管理操作的特殊性,OPTIMIZE/ANALYZE/REPAIR/CHECK TABLE 这些都统一调用 mysql_admin_table 函数进行管理操作,mysql_admin_table 执行失败的时候,执行线程并不报错,而是在 mysql_admin_table 函数结束前,清空线程中的error,将错误信息封装在结果集(result set)中发送给客户端,所以 OPTIMIZE/ANALYZE/REPAIR 虽然执行失败了,但仍然会记 binlog 。 按照这个逻辑来看,出错了仍然记binlog也是没问题,只要记对就行了,但是这里有一个问题,就是 mysql_admin_table 会调用 open_and_lock_tables,因为表不存在,所以 open_and_lock_tables 打开表的时候就出错,然后调用 trans_rollback_stmt ,之后会调到 gtid_rollback,最终调到 thd->variables.gtid_next.set_undefined()。

 

可以看到,如果是 type == GTID_GROUP,就将 type 设置为 UNDEFINED_GROUP。那么什么情况下gtid_next 的 type 会是 GTID_GROUP,答案是为一个固定值的时候,即类似这种 f3c1dd3e-395d-11e4-be45-4cb16c8f4abc:5。

而在 Gtid_log_event::Gtid_log_event 有这段逻辑,

 

我们会发现,这个时候sid会被清掉,clear 操作就是置全0,所以最终写入 binlog 的就是全0。

细心的同学会发现,当 gtid_next = automatic 的时候,也是会被 clear 的(automatic 对应的 group 是 AUTOMATIC_GROUP),其实如果 gtid_next = automatic 的话,只有在 binlog commit 的时候才调用 gtid_before_write_cache 生成 gtid,所以前面的 gtid_rollback 是不会影响 automatic 的。

关于不记 Executed_Gtid_Set 的问题,gtid_rollback 的时候,一方面通过 thd->variables.gtid_next.set_undefined() 把 gtid_next 的type设成UNDEFINED_GROUP,另一方面用 thd->clear_owned_gtids(),把 thd->owned_gtid 的 sidno 设为0,导致最终不会添加到 Executed_Gtid_Set 中。

bug修复

官方已经修复了这个bug,具体可以参见这2个 revno

主要是第一个,第二个是post-fix。修复方法是在 THD 中加一个标志 skip_gtid_rollback,在进入 mysql_admin_table 时先根据上下文设置thd->skip_gtid_rollback ,在退出mysql_admin_table 前重置标志,gtid_rollback 在执行clear前会判断下thd->skip_gtid_rollback。


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
6月前
|
关系型数据库 MySQL 数据库
数据迁移脚本优化过程:从 MySQL 到 Django 模型表
在大规模的数据迁移过程中,性能问题往往是开发者面临的主要挑战之一。本文将分析一个数据迁移脚本的优化过程,展示如何从 MySQL 数据库迁移数据到 Django 模型表,并探讨优化前后的性能差异。
|
5月前
|
存储 SQL 关系型数据库
MySQL设计规约问题之在数据库设计中,为什么要适当考虑反范式的表设计
MySQL设计规约问题之在数据库设计中,为什么要适当考虑反范式的表设计
|
5月前
|
SQL 存储 数据库
MySQL设计规约问题之如何处理日志类型的表
MySQL设计规约问题之如何处理日志类型的表
|
6月前
|
关系型数据库 MySQL
蓝易云 - 如何修复MySQL中损坏的表
最后,为了防止数据丢失,定期备份数据是非常重要的。
153 3
|
5月前
|
运维 关系型数据库 MySQL
实时计算 Flink版产品使用问题之在处理MySQL表新增数据记录时,没有正确触发变更事件,该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之如何进行MySQL到MySQL的动态同步
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
SQL 关系型数据库 MySQL
ClickHouse(23)ClickHouse集成Mysql表引擎详细解析
ClickHouse的MySQL引擎允许执行`SELECT`查询从远程MySQL服务器。使用`MySQL(&#39;host:port&#39;, &#39;database&#39;, &#39;table&#39;, &#39;user&#39;, &#39;password&#39;[,...])`格式连接,支持简单`WHERE`子句在MySQL端处理,复杂条件和`LIMIT`在ClickHouse端执行。不支持`NULL`值,用默认值替换。系列文章涵盖ClickHouse安装、集群搭建、表引擎解析等主题。[链接](https://zhangfeidezhu.com/?p=468)有更多
266 0
|
6月前
|
SQL 缓存 关系型数据库
MySQL操作全攻略:库、表、数据、事务全面指南
MySQL操作全攻略:库、表、数据、事务全面指南
|
6月前
|
关系型数据库 MySQL
mysql动态查列(case when then else end)
mysql动态查列(case when then else end)
|
6月前
|
SQL 关系型数据库 MySQL
经验大分享:MySQL(三)数据库表的查询操作【重要】
经验大分享:MySQL(三)数据库表的查询操作【重要】
67 0

相关产品

  • 云数据库 RDS MySQL 版