AI 助理
备案控制台
开发者社区 数据库 文章 正文

解析MYSQL BINLOG二进制格式(8)--GTID_LOG_EVENT/ANONYMOUS_GTID_LOG_EVENT及其他

2017-02-14 2246
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
日志服务 SLS，月写入数据量 50GB 1个月
云数据库 RDS PostgreSQL，高可用系列 2核4GB
简介： 原创：转载请说明出处谢谢！ 上接 http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作  http://blog.
原创：转载请说明出处谢谢！
上接
http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作 
http://blog.itpub.net/7728585/viewspace-2133189/ 解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT 
http://blog.itpub.net/7728585/viewspace-2133321/ 解析MYSQL BINLOG 二进制格式(3)--QUERY_EVENT 
http://blog.itpub.net/7728585/viewspace-2133429/ 解析MYSQL BINLOG 二进制格式(4)--TABLE_MAP_EVENT 
http://blog.itpub.net/7728585/viewspace-2133463/ 解析MYSQL BINLOG 二进制格式(5)--WRITE_ROW_EVENT 
http://blog.itpub.net/7728585/viewspace-2133469/ 解析MYSQL BINLOG 二进制格式(6)--UPDATE_ROW_EVENT/DELETE_ROW_EVENT  
http://blog.itpub.net/7728585/viewspace-2133502/ 解析MYSQL BINLOG 二进制格式(7)--Xid_log_event/XID_EVENT 


这部分在文档interal中并没有找到解析，但是通过翻阅源码class定义找到一些定义
部分可知，部分未知，如果以后找到会补上，如果有误请指出

class:Gtid_log_event
event:GTID_LOG_EVENT
event_code:33

class:Gtid_log_event
event:ANONYMOUS_GTID_LOG_EVENT
event_code:34


class:Previous_gtids_log_event
event:PREVIOUS_GTIDS_LOG_EVENT
event_code:35


首先是GTID_LOG_EVENT和ANONYMOUS_GTID_LOG_EVENT
他们源于一个class
(
ANONYMOUS: gtid_mode [ON ON_PERMISSIVE]
非ANONYMOUS:gtid_mode [OFF OFF_PERMISSIVE]
)


只是ANONYMOUS基本没有填充值，我们来看看源码中对他们的定义：
位置在：
Control_events.h 中


protected:
  static const int ENCODED_FLAG_LENGTH= 1;
  static const int ENCODED_SID_LENGTH= 16;// Uuid::BYTE_LENGTH;
  static const int ENCODED_GNO_LENGTH= 8;
  /// Length of typecode for logical timestamps.
  static const int LOGICAL_TIMESTAMP_TYPECODE_LENGTH= 1;
  /// Length of two logical timestamps.
  static const int LOGICAL_TIMESTAMP_LENGTH= 16;
  // Type code used before the logical timestamps.
  static const int LOGICAL_TIMESTAMP_TYPECODE= 2;
  gtid_info gtid_info_struct;
  Uuid Uuid_parent_struct;
public:
  /// Total length of post header
  static const int POST_HEADER_LENGTH=
    ENCODED_FLAG_LENGTH                 /* flags */ 1
    ENCODED_SID_LENGTH                  /* SID length */ 16
    ENCODED_GNO_LENGTH                  /* GNO length */ 8
    LOGICAL_TIMESTAMP_TYPECODE_LENGTH  /* length of typecode */ 1
    LOGICAL_TIMESTAMP_LENGTH;           /* length of two logical timestamps */ 16
    
我们可以明确看出GITD存储的地方ENCODED_SID_LENGTH 16,ENCODED_GNO_LENGTH 8
 LOGICAL_TIMESTAMP_LENGTH 两个8字节分别表示 last_committed， sequence_number
，在ANONYMOUS GTID除了 last_committed ， sequence_number其他字节为0X00
 /* Binlog-specific logical timestamps. */
  /*
    Store for the transaction's commit parent sequence_number.
    The value specifies this transaction dependency with a "parent"
    transaction.
    The member is assigned, when the transaction is about to commit
    in binlog to a value of the last committed transaction's sequence_number.
    This and last_committed as numbers are kept ever incremented
    regardless of binary logs being rotated or when transaction
    is logged in multiple pieces.
    However the logger to the binary log may convert them
    according to its specification.
  */
  int64 last_committed;
  /*
    The transaction's private logical timestamp assigned at the
    transaction prepare phase. The timestamp enumerates transactions
    in the binary log. The value is gained through incrementing (stepping) a
    global clock.
    Eventually the value is considered to increase max_committed_transaction
    system clock when the transaction has committed.
  */
  int64 sequence_number; 


来具体解析一个：
Gtid_log_event/GTID_LOG_EVENT
# Position  Timestamp   Type   Master ID        Size      Master Pos    Flags 
#       c2 05 01 9d 58   21   e5 6b 01 00   41 00 00 00   03 01 00 00   00 00
#       d5 01 4a 6f 2a 67 5d 87 11  e6 a6 bd 00 0c 29 a8 79 |.Jo.g..........y|
#       e5 a3 f0 43 0f 00 00 00 00  00 02 00 00 00 00 00 00 |..C.............|
#       f5 00 00 01 00 00 00 00 00  00 00 7d 32 90 b4       |...........2..|
#       GTID [commit=yes]
SET @@SESSION.GTID_NEXT= '4a6f2a67-5d87-11e6-a6bd-000c29a879a3:1000432'/*!*/;


01:flags未知                                                              
4a 6f 2a 67 5d 87 11 e6 a6 bd 00 0c 29 a8 79 a3: 4a6f2a67-5d87-11e6-a6bd-000c29a879a3
f0 43 0f 00 00 00 00 00 : 小端显示0X0f43f0，1000432                                       
02:length of typecode未知 
00 00 00 00 00 00 00 00： last_committed 
01 00 00 00 00 00 00 00： sequence_number
7d 32 90 b4 :CRC32校验


那看一个ANONYMOUS的
# at 194
#170214  4:12:30 server id 93157  end_log_pos 259 CRC32 0x0901e014 
# Position  Timestamp   Type   Master ID        Size      Master Pos    Flags 
#       c2 2e 13 a2 58   22   e5 6b 01 00   41 00 00 00   03 01 00 00   00 00
#       d5 01 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00 |................|
#       e5 00 00 00 00 00 00 00 00  00 02 00 00 00 00 00 00 |................|
#       f5 00 00 01 00 00 00 00 00  00 00 14 e0 01 09       |..............|
#       GTID [commit=yes]
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;




除了 last_committed  和 sequence_number作为组提交的标志，其他位基本都为0及没有gtid生成


PREVIOUS_GTIDS_LOG_EVENT：用于表示上一个binlog最后一个gitd的位置，每个binlog只有一个


# at 123
#170214  4:46:24 server id 93157  end_log_pos 194 CRC32 0xd10caea6 
# Position  Timestamp   Type   Master ID        Size      Master Pos    Flags 
#       7b 20 1b a2 58   23   e5 6b 01 00   47 00 00 00   c2 00 00 00   80 00
#       8e 01 00 00 00 00 00 00 00  4a 6f 2a 67 5d 87 11 e6 |........Jo.g....|
#       9e a6 bd 00 0c 29 a8 79 a3  01 00 00 00 00 00 00 00 |......y.........|
#       ae 01 00 00 00 00 00 00 00  05 44 0f 00 00 00 00 00 |.........D......|
#       be a6 ae 0c d1                                      |....|
#       Previous-GTIDs
# 4a6f2a67-5d87-11e6-a6bd-000c29a879a3:1-1000452


关于这部分解析位置特别是1-1000452的解析。如果以后知道了补上
只是在源码注释中找到：
/**
  @class Previous_gtids_event


  @section Previous_gtids_event_binary_format Binary Format


  The Post-Header for this event type is empty.  The Body has two
  components:

 
Name Format Description
buf unsigned char array It contains the Gtids executed in the
        last binary log file.
buf_size 4 byte integer Size of the above buffer

*/
但是不知道解析方法。




其他EVENT:
这部分列出的event可以直接参考internals 20章 比较简单就不用再开文章写了
Stop_log_event/STOP_EVENT(03):数据库关闭，或者SLAVE执行了reset slave。
Rotate_log_event/ROTATE_EVENT(04):binlog切换事件，比如超过参数设置。如果服务器CRASH不会记录
Intvar_log_event/INTVAR_EVENT(05):和自增字段有关
Rand_log_event/RAND_EVENT(13):和RAND()函数相关
还有很多和load data infile 有关的event这里就不考虑了。因为平时我们用load data infile 并不多，这里主要考虑
和事物有关的各种的event




    


文章标签：
云数据库 RDS MySQL 版
云解析DNS
日志服务
关系型数据库
MySQL
数据库
存储
关键词：
云数据库 RDS MySQL 版binlog
云数据库 RDS MySQL 版二进制
mysql binlog
二进制日志服务
mysql二进制日志服务
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发，帮助IT从业者们通过“阿里云Web应用上云解决方案”，了解一个企业级Web应用上云的常见架构，了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品：云数据库RDS MySQL 版 阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
重庆八怪
目录
相关文章
蓝易云
|
9天前
|
SQL 运维 关系型数据库
深入探讨MySQL的二进制日志（binlog）选项
总结而言，对MySQL binlogs深度理解并妥善配置对数据库运维管理至关重要；它不仅关系到系统性能优化也是实现高可靠性架构设计必须考虑因素之一。通过精心规划与周密部署可以使得该机能充分发挥作用而避免潜在风险带来影响。
蓝易云
39 6
Raymond运维
|
Ubuntu 关系型数据库 MySQL
MySQL二进制包安装
本文详细介绍了在多种Linux系统上通过二进制包安装MySQL 8.0和8.4版本的完整流程，涵盖用户创建、glibc版本匹配、程序解压、环境变量配置、初始化数据库、服务启动及登录测试等步骤，并提供支持多发行版的一键安装Shell脚本，简化部署过程。
Raymond运维
69 0
MySQL二进制包安装
蓝易云
|
4月前
|
SQL 监控 关系型数据库
MySQL日志分析：binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样，需要规划，需要修订，也需要有能力回滚。理解这些日志的作用与优化，就像把握写作工具的使用与运用，为我们的数据库保驾护航。
蓝易云
208 23
金桔数科
|
5月前
|
Oracle 关系型数据库 MySQL
Oracle linux 8 二进制安装 MySQL 8.4企业版
Oracle linux 8 二进制安装 MySQL 8.4企业版
金桔数科
166 1
游客bmwhmm6u34qx6
|
5月前
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog（二进制日志）功能及其使用方法。Binlog 记录了数据库的所有数据变更操作，如 INSERT、UPDATE 和 DELETE，对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容，并解析了常见的事件类型，包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等，帮助用户掌握数据库变化历史，提升维护和排障能力。
游客bmwhmm6u34qx6
2217 6
蓝易云
|
6月前
|
存储 SQL 关系型数据库
mysql的undo log、redo log、bin log、buffer pool
MySQL的undo log、redo log、bin log和buffer pool是确保数据库高效、安全和可靠运行的关键组件。理解这些组件的工作原理和作用，对于优化数据库性能和保障数据安全具有重要意义。通过适当的配置和优化，可以显著提升MySQL的运行效率和数据可靠性。
蓝易云
108 4
运营研究坊
|
6月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志（Redo Log、Binlog和Undo Log）各有什么区别
在MySQL数据库管理中，理解Redo Log（重做日志）、Binlog（二进制日志）和Undo Log（回滚日志）至关重要。Redo Log确保数据持久性和崩溃恢复；Binlog用于主从复制和数据恢复，记录逻辑操作；Undo Log支持事务的原子性和隔离性，实现回滚与MVCC。三者协同工作，保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况，帮助深入理解数据库日志机制。
运营研究坊
816 0
蓝易云
|
1月前
|
存储 SQL 关系型数据库
MySQL中binlog、redolog与undolog的不同之处解析
每个都扮演回答回溯与错误修正机构角色: BinLog像历史记载员详细记载每件大大小小事件; RedoLog则像紧急救援队伍遇见突發情況追踪最后活动轨迹尽力补救; UndoLog就类似时间机器可倒带历史让一切归位原始样貌同时兼具平行宇宙观察能让多人同时看见各自期望看见历程而互不干扰.
蓝易云
141 9
蓝易云
|
2月前
|
存储 SQL 关系型数据库
MySQL的Redo Log与Binlog机制对照分析
通过合理的配置和细致的管理，这两种日志机制相互配合，能够有效地提升MySQL数据库的可靠性和稳定性。
蓝易云
111 10
智物科技库
|
9月前
|
存储 SQL 关系型数据库
mysql 的ReLog和BinLog区别
MySQL中的重做日志和二进制日志是确保数据库稳定性和可靠性的关键组件。重做日志主要用于事务的持久性和原子性，通过记录数据页的物理修改信息来恢复未提交的事务；而二进制日志记录SQL语句的逻辑变化，支持数据复制、恢复和审计。两者在写入时机、存储方式及配置参数等方面存在显著差异。
智物科技库
201 6

热门文章

最新文章

  • 1
    从下载到运行：MySQL 详细安装配置完整教程
  • 2
    解决MySQL的sql_mode=only_full_group_by错误提示
  • 3
    MySQL数据库连接过多（Too many connections）错误处理策略
  • 4
    使用命令行cmd查询MySQL表结构信息技巧分享。
  • 5
    查寻MySQL或SQL Server的连接数，并配置超时时间和最大连接量
  • 6
    修复.net Framework4.x连接MYSQL时遇到utf8mb3字符集不支持错误方案。
  • 7
    安装与配置MySQL 8 on Ubuntu，包括权限授予、数据库备份及远程连接指南
  • 8
    深入理解MySQL索引类型及其应用场景分析。
  • 9
    MySQL入门指南：从安装到第一个查询
  • 10
    MySQL锁机制：并发控制与事务隔离
  • 1
    MySQL——如何查看MySQL登录日志
    861
  • 2
    Linux——日志文件按天切割
    167
  • 3
    SpringBoot——日志【六】
    75
  • 4
    使用对比！SLS 数据加工 SPL 与旧版 DSL 场景对照
    7701
  • 5
    【海贼王航海日志：前端技术探索】CSS你了解多少？(三)
    90
  • 6
    【海贼王航海日志：前端技术探索】CSS你了解多少？(二)
    90
  • 7
    【海贼王航海日志：前端技术探索】CSS你了解多少？(一)
    81
  • 8
    【海贼王航海日志：前端技术探索】HTML你学会了吗？(二)
    98
  • 9
    【海贼王航海日志：前端技术探索】HTML你学会了吗？(一)
    87
  • 10
    Linux日志管理工具：Logrotate（二）
    879

    • 相关课程

    更多
  • 第八届大学生创新创业大赛阿里命题IoT赛题解析
  • 云计算工程师解析与实战-网络专家篇（体验版）
  • 深入解析Docker容器化技术
  • Java面试疑难点解析 - 面试技巧及语言基础
  • Java面试疑难点解析 - Java Web开发
  • Java面试疑难点解析 - 系统架构及项目设计

    • 相关电子书

    更多
  • 神龙云服务器产品及技术深度解析
  • 弹性创造价值：基于ECS的最佳性价比实践解析
  • 又快又稳：阿里云下一代虚拟交换机解析

    • 推荐镜像

    更多
  • DNS
  • mysql
    • 下一篇
    2025云栖大会，阿里云百炼邀请您的参与和见证