解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT

简介: 原创:转载请说明出处谢谢! 上接 http://blog.itpub.net/7728585/viewspace-2133188/ 参考源: 1、源码log_event.
原创:转载请说明出处谢谢!

上接
http://blog.itpub.net/7728585/viewspace-2133188/

参考源:
1、源码log_event.h log_event.cc
2、internals-en.epub

class:Format_description_log_event
event:FORMAT_DESCRIPTION_EVENT

mysql 5.0后所有的binlog 文件都是以FORMAT_DESCRIPTION_EVENT(FED) event开始的,其typecode=15
及0X0F
它的格式为:

1、fixed data part
   2 bytes:binlog 的格式版本,我们看到5.6,5.7肯定都是v4
   50 bytes:这是一个固定50字节的字符串,显示了mysql server的版本,用0X00补足
             也就是第一个0X00表示结尾
   4 bytes: 这4个字节文档上说是冗余的,在event header显示,这里看到全是0X00
   1 bytes:这个字节直接说明了我们event header的长度,V4为19
   var-size:这些字节由已经定义的event的个数定义5.6,5.7为40个,也就是40个字节
             说明了他们fixed data(posted header)的长度
2、variable data
    无
             
我们来解析一个实际的二进制格式文件


00000000  fe 62 69 6e bc df 98 58  0f 01 00 00 00 77 00 00  |.bin...X.....w..|
00000010  00 7b 00 00 00 00 00 04  00 35 2e 37 2e 31 34 2d  |.{.......5.7.14-|
00000020  37 2d 64 65 62 75 67 2d  6c 6f 67 00 00 00 00 00  |7-debug-log.....|
00000030  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000040  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 13  |................|
00000050  38 0d 00 08 00 12 00 04  04 04 04 12 00 00 5f 00  |8............._.|
00000060  04 1a 08 00 00 00 08 08  08 02 00 00 00 0a 0a 0a  |................|
00000070  2a 2a 00 12 34 00 01 55  88 2c 87 


mysqlbinlog输出为:
# at 4
#170207  4:42:36 server id 1  end_log_pos 123 CRC32 0x872c8855  Start: binlog v 4, server v 5.7.14-7-debug-log created 170207  4:42:36
BINLOG '
vN+YWA8BAAAAdwAAAHsAAAAAAAQANS43LjE0LTctZGVidWctbG9nAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAAAAAAAEzgNAAgAEgAEBAQEEgAAXwAEGggAAAAICAgCAAAACgoKKioAEjQA
AVWILIc=
'/*!*/;

fe 62 69 6e:binlog开头魔法数 4字节
event header
bc df 98 58:timestamp,小端显示,及0X5898DFBC十进制1486413756,用命令
                  [root@testmy mysqld.1]# date -d'@1486413756'
                  Tue Feb  7 04:42:36 CST 2017
                   可以看见时间和mysqbinlog解析的一致4:42:36
0f:event_type为15
01 00 00 00:service_id,小端显示 0X00000001及1
                    mysql> show variables like 'server_id';
                   +---------------+-------+
                   | Variable_name | Value |
                   +---------------+-------+
                   | server_id     | 1     |
                   +---------------+-------+
                  和mysqlbinlog中的server id 1也是一致的
77 00 00 00:event长度及0X00000077及119,刚好是下一个event 123-4(魔法数)=119
7b 00 00 00:下一个event位置0X0000007b及123,和mysqlbinlog解析的end_log_pos 123一致
00 00:flags,如果为0X0001那么会在MYSQLBINLOG输出中报一个警告说本binlog没有关闭
04 00:binlog 版本,小端显示及0X0004,和mysqlbinlog中的解析Start: binlog v 4一致

35 2e 37 2e 31 34 2d 37  2d 64 65 62 75 67 2d 6c 
6f 67 00 00 00 00 00 00  00 00 00 00 00 00 00 00 
00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00 
00 00 :
这部分就是50字节的字符串了其ASCII值是5.7.14-7-debug-log和mysqlbinlog中的解析
server v 5.7.14-7-debug-log一致

00 00 00 00:冗余的timestamp,全是0X00

13 38 0d 00 08 00 12 00  04 04 04 04 12 00 00 5f 
00 04 1a 08 00 00 00 08  08 08 02 00 00 00 0a 0a 
0a 2a 2a 00 12 34 00 01:
这部分是一个数组,表现了已知的40个event的fixed data(posted header)的长度
打个比方说0a 0a 0a 这里刚好array[30],array[31],array[32](C语言以[0]作为数
组的开始)就是我们最要的
WRITE_ROWS_EVENT
UPDATE_ROWS_EVENT
DELETE_ROWS_EVENT
的fixed data(posted header)的长度0X0A也就是10,以后会详细解释

55 88 2c 87: CRC32校验位,小端显示及0X872C8855和mysqlbinlog中的CRC32 0x872c8855一致

到这里FORMAT_DESCRIPTION_EVENT解析完毕
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
12月前
|
Ubuntu 关系型数据库 MySQL
MySQL二进制包安装
本文详细介绍了在多种Linux系统上通过二进制包安装MySQL 8.0和8.4版本的完整过程,涵盖用户创建、glibc版本匹配、程序解压、环境变量配置、初始化数据库及服务启动等步骤,并提供支持多发行版的一键安装脚本,助力高效部署MySQL环境。
1992 4
MySQL二进制包安装
|
SQL 关系型数据库 MySQL
深入解析MySQL的EXPLAIN:指标详解与索引优化
MySQL 中的 `EXPLAIN` 语句用于分析和优化 SQL 查询,帮助你了解查询优化器的执行计划。本文详细介绍了 `EXPLAIN` 输出的各项指标,如 `id`、`select_type`、`table`、`type`、`key` 等,并提供了如何利用这些指标优化索引结构和 SQL 语句的具体方法。通过实战案例,展示了如何通过创建合适索引和调整查询语句来提升查询性能。
3698 10
|
SQL 运维 关系型数据库
深入探讨MySQL的二进制日志(binlog)选项
总结而言,对MySQL binlogs深度理解并妥善配置对数据库运维管理至关重要;它不仅关系到系统性能优化也是实现高可靠性架构设计必须考虑因素之一。通过精心规划与周密部署可以使得该机能充分发挥作用而避免潜在风险带来影响。
406 6
|
存储 SQL 关系型数据库
MySQL中binlog、redolog与undolog的不同之处解析
每个都扮演回答回溯与错误修正机构角色: BinLog像历史记载员详细记载每件大大小小事件; RedoLog则像紧急救援队伍遇见突發情況追踪最后活动轨迹尽力补救; UndoLog就类似时间机器可倒带历史让一切归位原始样貌同时兼具平行宇宙观察能让多人同时看见各自期望看见历程而互不干扰.
658 9
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
|
Oracle 关系型数据库 MySQL
Oracle linux 8 二进制安装 MySQL 8.4企业版
Oracle linux 8 二进制安装 MySQL 8.4企业版
703 1
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。
1162 37
|
人工智能 搜索推荐 API
Cobalt:开源的流媒体下载工具,支持解析和下载全平台的视频、音频和图片,支持多种视频质量和格式,自动提取视频字幕
cobalt 是一款开源的流媒体下载工具,支持全平台视频、音频和图片下载,提供纯净、简洁无广告的体验
3311 9
Cobalt:开源的流媒体下载工具,支持解析和下载全平台的视频、音频和图片,支持多种视频质量和格式,自动提取视频字幕
|
设计模式 存储 安全
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
结构型模式描述如何将类或对象按某种布局组成更大的结构。它分为类结构型模式和对象结构型模式,前者采用继承机制来组织接口和类,后者釆用组合或聚合来组合对象。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象结构型模式比类结构型模式具有更大的灵活性。 结构型模式分为以下 7 种: • 代理模式 • 适配器模式 • 装饰者模式 • 桥接模式 • 外观模式 • 组合模式 • 享元模式
989 140
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析

推荐镜像

更多