【文档】七、Mysql Binlog不同事件类型的事件内容

本文涉及的产品
RDSClaw,2核4GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介:

下面主要讲述了每个类型的事件中的固定和可变部分的数据。

Start_log_event_v3/START_EVENT_V3

这个事件出现在v1或v3的binlog文件的开头部分。对于4.0和4.1版本的Mysql,这个事件只是被写在服务启动后的第一个binlog文件中,到达一定的条件后,会产生新的日志文件,但是新的日志文件中不包含这个事件。对于所有的Mysql5.0及以上版本,每个日志文件都会以FORMAT_DESCRIPTION_EVENT开头。

固定数据部分:

  • 2字节,binlog格式版本。对3.23版本为1,4.0和4.1版本为3(对5.0及以上版本,FORMAT_DESCRIPTION_EVENT会替代START_EVENT_V3)
  • 50字节,Mysql服务器版本(例如:4.0.14-debug-log),后面跟着0x00。
  • 4字节,事件创建的时间戳,精确到秒。(也就是这个文件创建的时间戳)。这个值是多余的,因为头中有相同的字段。

可变数据部分:

Query_log_event/QUERY_EVENT

固定数据部分:

  • 4字节。发起这个语句的线程id,对于临时表来说是必须的。这也有助于DBA知道谁在master上干了啥。
  • 4字节。语句执行的时长,单位为秒。只对于DBA的监控有用。
  • 1字节。语句执行对应的数据库名称的长度。名称在可变数据部分。
  • 2字节。在master执行语句的错误码。错误码定义在include/mysqld_error.h文件中。0表示没有错误。
  • 2字节(v1和v3中不存在)。状态变量长度。

可变数据部分:

  • 大于等于0的状态变量(v1、v3中不存在)。每个状态变量包含一个字节码,标识存储变量,后面跟着变量的值。
  • 默认数据库名
  • SQL语句。slave知道变量中其他字段的长度,所以通过减法计算,可以知道语句的长度。

下面的列表提供了每个变量的基本信息:

  • Q_FLAGS2_CODE=0。值为一个4字节的位字段。这个变量只会在5.0中写入。
  • Q_SQL_MODE_CODE = 1. 他是一个每一位代表SQL_MODE中的一个值,参考最后源码的解释
  • Q_CATALOG_CODE = 2. 只在MYSQL 5.0.0到5.0.3使用不考虑
  • Q_AUTO_INCREMENT = 3. 2 bytes非负整数用于表示参数auto_increment_increment和auto_increment_offset,这个只会在auto_increment大于1的时候出现
  • Q_CHARSET_CODE = 4. 6 bytes用于表示character_set_client,collation_connection和collation_server参数(totally 2+2+2=6 bytes)参考最后源码解释
  • Q_TIME_ZONE_CODE = 5. 用于描述time zone信息
  • Q_CATALOG_NZ_CODE = 6. 用于描述catalog name,长度占用一个字节,随后这个值为std
  • Q_LC_TIME_NAMES_CODE = 7. 2 bytes 非负整数,只有当lc_time_names不设置为en_US的时候使用
  • Q_CHARSET_DATABASE_CODE = 8. 2 bytes 非负整数为collation_database系统变量,5.7源码解释说这部分新版本不一定使用。
  • Q_TABLE_MAP_FOR_UPDATE_CODE = 9.

Stop_log_event/STOP_EVENT

这个事件会在以下情况下写入:

  • master挂掉时会写到binlog中
  • slave挂掉时会向relay log中写入或者RESET SLAVE命令执行时。

固定数据部分:

可变数据部分:

Rotate_log_event/ROTATE_EVENT

当binlog的文件大小超过阈值时,这个事件会写到binlog的结尾处,指向下一个binlog文件序列。这个事件可以让slave知道下一个binlog文件的名字,以便它去接收。

ROTATE_EVENT是在master本地产生并写入binlog中的。当FLUSH LOGS命令执行时或收到master的ROTATE_EVENT时,slave会写到他的relay log中。

固定数据部分:

  • 8字节。下个日志文件的第一个事件的位置。经常包含数字4(表示下个binlog的下个事件从位置4开始)。这个字段在v1中不存在。可以推测,这个值是4。
  • 可变数据部分:
  • 下个binlog文件的名字。文件名不是以null结尾的,他的长度是事件长度-固定数据长度。

Intvar_log_event/INTVAR_EVENT

固定数据部分:

可变数据部分:

  • 1字节。表示参数类型,LAST_INSERT_ID_EVENT=1或者INSERT_ID_EVENT=2。
  • 8字节。无符号整数,表示LAST_INSERT_ID()调用的值或者AUTO_INCREMENT列的值。

Load_log_event/LOAD_EVENT

用于LOAD DATA INFILE语句中。这块用的比较少,先跳过。

Slave_log_event/SLAVE_EVENT

从没用过这个事件。

Create_file_log_event/CREATE_FILE_EVENT

用于LOAD DATA INFILE语句中。这块用的比较少,先跳过。

Append_block_log_event/APPEND_BLOCK_EVENT

用于LOAD DATA INFILE语句中。这块用的比较少,先跳过。

Execute_log_event/EXEC_LOAD_EVENT

用于LOAD DATA INFILE语句中。这块用的比较少,先跳过。

Delete_file_log_event/DELETE_FILE_EVENT

用于LOAD DATA INFILE语句中。这块用的比较少,先跳过。

Load_log_event/NEW_LOAD_EVENT

用于LOAD DATA INFILE语句中。这块用的比较少,先跳过。

Rand_log_event/RAND_EVENT

RAND()函数会产生一个随机数。这个事件包含两个种子值,用于产生随机数。

固定数据部分:

可变数据部分:

  • 8字节。第一个种子的值。
  • 8字节。第二个种子的值。

User_var_log_event/USER_VAR_EVENT

固定数据部分:

可变数据部分:

  • 4字节。用户参数名的长度。
  • 用户参数名。
  • 1字节。如果参数值是SQL的NULL值,不为零,否则为0.如果这个字节是0,会包含下面的内容。
  • 1字节。用户参数类型。STRING_RESULT=0,REAL_RESULT=1,INT_RESULT=2,ROW_RESULT=3,DECIMAL_RESULT=4。
  • 4字节。用户参数的编码集代表的数字。
  • 4字节。用户参数值的大小。
  • 可变大小。对于一个字符串的变量,这是字符串。对于浮点数或整数,这个值是8字节。对于十进制的数,值为一个封包值。

Format_description_log_event/FORMAT_DESCRITION_EVENT

这个在之前讲过很多了,是v4版本的格式描述事件。

固定数据部分:

  • 2字节。binlog格式版本,对于5.0及以上版本,是4.
  • 50字节。Mysql服务器版本,右边带着0x00。
  • 4字节。事件创建的时间戳。多余的参数,和头中的时间戳重复。
  • 1字节。头长度。当前的值为19.
  • 可变长度。表示所有事件类型的头长度信息的数组。

可变数据部分:

  • 空。

Xid_log_event/XID_EVENT

对于支持XA事务的存储引擎来说,一个XID事件是在改变一个或多个表数据的事务提交时产生的。严格的讲,这个事件是在thd->transaction.xid_state.xid.get_my_xid()方法返回不为0时,使用的。

下面举例说明如何产生一个XID事件(无论是否开启innodb_support_xa):

CREATE TABLE t1 (a INT) ENGINE = INNODB;
START TRANSACTION;
INSERT INTO t1 VALUES (1);
COMMIT;

固定数据部分:

可变数据部分:

  • 8字节,XID事务号

Begin_load_query_log_event/BEGIN_LOAD_QUERY_EVENT

用于LOAD DATA INFILE语句中。这块用的比较少,先跳过。

Table_map_log_event/TABLE_MAP_EVENT

从5.1.5开始用于基于行的binlog文件。

固定数据部分:

  • 6字节,表id
  • 2字节,保留字段。

可变数据部分:

  • 1字节,数据库名长度
  • 可变大小。数据库名(以null结尾)
  • 1字节,表名长度
  • 可变大小,表名(以null结尾)
  • 封包整数,表中列的数量
  • 可变大小,列类型的数组,每一列一个字节。
  • 封包整数,元数据块大小
  • 可变大小,元数据块
  • 可变大小,位字段,表示每一列是否可以为空,每列一比特。对这个字段,对于一个N列的存储大小为INT((N+7)/8)字节。

Write_rows_log_event_old/PRE_GA_WRITE_ROWS_EVENT

用于5.1.5到5.1.17版本的基于行的binlog,Write_rows_log_event/WRITE_ROWS_EVENT的老版本实现。结构和最新的版本类似。

Update_rows_log_event_old/PRE_GA_UPDATE_ROWS_EVENT

用于5.1.5到5.1.17版本的基于行的binlog,Update_rows_log_event/UPDATE_ROWS_EVENT的老版本实现。结构和最新的版本类似。

Delete_rows_log_event_old/PRE_GA_DELETE_ROWS_EVENT

用于5.1.5到5.1.17版本的基于行的binlog,Delete_rows_log_event/DELETE_ROWS_EVENT的老版本实现。结构和最新的版本类似。

Write_rows_log_event/WRITE_ROWS_EVENT

用于5.1.18版本的基于行的binlog。

固定数据部分:

  • 6字节,表id
  • 2字节,保留字段

可变数据部分:

  • 封包整数。表中列的数量
  • 可变大小,位字段,表示每一列是否使用到,每列一个比特。对于这个字段,对于一个N列的表需要的存储空间为INT((N+7)/8)字节。
  • 可变大小(只用于UPDATE_ROWS_LOG_EVENT)。
  • 可变大小,0列或多列的序列,结尾由时间的大小决定,每一列是下面的格式:

    • 可变大小。位字段,表示每列的字段是否为空。只有在第二个字段中使用到的变量数据部分才会展示在这里。如果第二个字段包含N个比特,当前字段需要的空间为INT((N+7)/8)字节。
    • 可变大小。列映射,包含表中所有列的值。这个字段只会列出使用到的字段。
    • 每种值的格式定义在log_event.cc的log_event_value()函数中。
    • (仅对UPDATE_ROWS_EVENT)前面的2个字段是重复的。

Update_rows_log_event/UPDATE_ROWS_EVENT

用于5.1.18版本的基于行的binlog。见WRITE_ROWS_EVENT的描述。

Delete_rows_log_event/DELETE_ROWS_EVENT

用于5.1.18版本的基于行的binlog。见WRITE_ROWS_EVENT的描述。

Incident_log_event/INCIDENT_EVENT

固定数据部分:

  • 1字节,故障号。
  • 1字节,消息长度。

可变数据部分

  • 如果有的话,是故障信息

故障号定义在rpl_constant.h中。当前唯一使用到的是INCIDENT_LOST_EVENTS,这个表示在复制过程中可能有丢包,需要重新进行同步。

Heartbeat_log_event/HEARTBEAT_LOG_EVENT

这个事件是由master发给slave的,让slave知道master还活着。这类事件不会再binlog或relay log中出现。他们由master的dump事件线程产生,然后直接发给了slave。slave收到后,校验事件内容后,直接抛弃这个事件,而不会写到relay log中。

固定数据部分

可变数据部分

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
7月前
|
SQL 运维 关系型数据库
深入探讨MySQL的二进制日志(binlog)选项
总结而言,对MySQL binlogs深度理解并妥善配置对数据库运维管理至关重要;它不仅关系到系统性能优化也是实现高可靠性架构设计必须考虑因素之一。通过精心规划与周密部署可以使得该机能充分发挥作用而避免潜在风险带来影响。
222 6
|
8月前
|
存储 SQL 关系型数据库
MySQL中binlog、redolog与undolog的不同之处解析
每个都扮演回答回溯与错误修正机构角色: BinLog像历史记载员详细记载每件大大小小事件; RedoLog则像紧急救援队伍遇见突發情況追踪最后活动轨迹尽力补救; UndoLog就类似时间机器可倒带历史让一切归位原始样貌同时兼具平行宇宙观察能让多人同时看见各自期望看见历程而互不干扰.
465 9
|
9月前
|
存储 SQL 关系型数据库
MySQL的Redo Log与Binlog机制对照分析
通过合理的配置和细致的管理,这两种日志机制相互配合,能够有效地提升MySQL数据库的可靠性和稳定性。
299 10
|
9月前
|
SQL 人工智能 关系型数据库
如何使用MySQL的事件调度器?
MySQL事件调度器允许在指定时间或间隔自动执行SQL语句,可用于数据清理、报告生成等任务。本文介绍其配置、创建、修改、删除事件的方法,并提供Java操作示例代码,帮助实现数据库定时任务管理。
389 0
|
11月前
|
SQL 监控 关系型数据库
MySQL日志分析:binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样,需要规划,需要修订,也需要有能力回滚。理解这些日志的作用与优化,就像把握写作工具的使用与运用,为我们的数据库保驾护航。
692 23
|
7月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
492 158
|
7月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
7月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1233 152
|
7月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
917 156
|
7月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(中)
使用MYSQL Report分析数据库性能
516 156

热门文章

最新文章

推荐镜像

更多
下一篇
开通oss服务