解析MYSQL BINLOG 二进制格式(6)--UPDATE_ROW_EVENT/DELETE_ROW_EVENT

简介: 原创:转载请说明出处谢谢! 上接 http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作  http://blog.
原创:转载请说明出处谢谢!
上接
http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作 
http://blog.itpub.net/7728585/viewspace-2133189/ 解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT 
http://blog.itpub.net/7728585/viewspace-2133321/ 解析MYSQL BINLOG 二进制格式(3)--QUERY_EVENT 
http://blog.itpub.net/7728585/viewspace-2133429/ 解析MYSQL BINLOG 二进制格式(4)--TABLE_MAP_EVENT 
http://blog.itpub.net/7728585/viewspace-2133463/ 解析MYSQL BINLOG 二进制格式(5)--WRITE_ROW_EVENT 

class:Update_rows_log_event
event:UPDATE_ROW_EVENT
event_code:31


class:Delele_rows_log_event
event:DELETE_ROW_EVENT
event_code:32


自从5.1.18开始,row模式下的update/delete的event
这部分将UPDATE_ROW_EVENT和DELETE_ROWS_EVENT放到一起因为了有了前面WRITE_ROW_EVENT 的
基础这两个基本和他一致,只是要注意UPDATE_ROW_EVENT存放了前后印象
--fixed data  10字节(5.6,5.7中描述为 ROWS_HEADER_LEN_V2)
  6 bytes 表ID
  2 bytes 保留
  2 bytes 文档中并没有描述
  源码中描述为:
  uchar    *m_extra_row_data;   /* Pointer to extra row data if any */
                                /* If non null, first byte is length */
  具体参考前面一篇(解析MYSQL BINLOG 二进制格式(5)--WRITE_ROW_EVENT)
--variable data part
  packed integer:表中字段个数,这个地方为packed integer自行参考源码
                  uchar *net_store_length或者参考第一章
                  (解析MYSQL BINLOG 二进制格式(1)--准备工作 )
  var-size:文档解释为每一位代表是否字段用到了 长度为INT((n+7)/8) n代表字段数量
           源码描述为 m_cols; /* Bitmap denoting columns available */
           测试表现这一字节和binlog_row_image设置有关,默认为FULL每一个字节始终为
           0XFF 
  var-size-update:UPDATE_ROW_EVENT专用和前面描述的一致,但是表示的是后印象,也就是update后的数据
  
  var-size:每一位代表的字段的值是否为NULL,长度为INT((n+7)/8) n代表字段数量,
  他采用一个位图的方式。
           1:NULL
           0:NOT NULL
  var-size:这部分就是真正的数据了。
    
  var-size-update:
  var-size-update:
  这两部分为UPDATE_ROW_EVENT专用和前面描述的两部分一致,但是表示的是后印象,也就是update后的数据
  
接下来进行实际的解析:
执行语句
mysql> select * from testnull2;
+------+-------+-------+
| id   | name1 | name2 |
+------+-------+-------+
| NULL | test  | NULL  |
+------+-------+-------+
1 row in set (0.01 sec)


mysql> update testnull2 set id=2,name2='test',name1=NULL where name1='test';
Query OK, 1 row affected (0.01 sec)
Rows matched: 1  Changed: 1  Warnings: 0


mysql> delete from testnull2;
Query OK, 1 row affected (0.02 sec)


使用./infobin (自己开发 我放到了云盘)
http://pan.baidu.com/s/1jHIWUN0


[root@testmy data]# ./infobin  test.000184
Check is Little_endian
Author: gaopeng QQ:22389860 Mail: gaopp_200217@163.com 
Waring: This tool only Little_endian platform!
Little_endian check ok!!!
-------------Now begin--------------
Check Mysql Version is:5.7.13-log
Check Mysql binlog format ver is:V4
------------Detail now--------------
>Gtid Event:Pos:194(0Xc2) N_pos:259(0X103) Time:1486949924 Event_size:65(bytes) 
Gtid:4a6f2a67-5d87-11e6-a6bd-0c29a879a3:1000450
-->Query Event:Pos:259(0X103) N_Pos:331(0X14b) Time:1486949924 Event_size:72(bytes) 
Exe_time:0  Use_db:test Statment(35b-trun):BEGIN
---->Map Event:Pos331(0X14b) N_pos:389(0X185) Time:1486949924 Event_size:58(bytes) 
TABLE_ID:210 DB_NAME:test TABLE_NAME:testnull2
------>Update Event:Pos:389(0X185) N_pos is:441(0X1b9) time:1486949924 event_size:52(bytes) 
Dml on table: test.testnull2  table_id:210 Gno:1000450 
>Xid Event:Pos:441(0X1b9) N_Pos:472(0X1d8) Time:1486949924 Event_size:31(bytes) 
COMMIT 1000450 /*!add by tool*/
>Gtid Event:Pos:472(0X1d8) N_pos:537(0X219) Time:1486949930 Event_size:65(bytes) 
Gtid:4a6f2a67-5d87-11e6-a6bd-0c29a879a3:1000451
-->Query Event:Pos:537(0X219) N_Pos:609(0X261) Time:1486949930 Event_size:72(bytes) 
Exe_time:0  Use_db:test Statment(35b-trun):BEGIN
---->Map Event:Pos609(0X261) N_pos:667(0X29b) Time:1486949930 Event_size:58(bytes) 
TABLE_ID:210 DB_NAME:test TABLE_NAME:testnull2
------>Delete Event:Pos:667(0X29b) N_pos:712(0X2c8) Time:1486949930 Event_size:45(bytes) 
Dml on table: test.testnull2  table_id:210 Gno:1000451 
>Xid Event:Pos:712(0X2c8) N_Pos:743(0X2e7) Time:1486949930 Event_size:31(bytes) 
COMMIT 1000451 /*!add by tool*/


可以看到我们的update和delete的位置
------>Update Event:Pos:389(0X185) N_pos is:441(0X1b9) time:1486949924 event_size:52(bytes) 
Dml on table: test.testnull2  table_id:210 Gno:1000450 
------>Delete Event:Pos:667(0X29b) N_pos:712(0X2c8) Time:1486949930 Event_size:45(bytes) 
Dml on table: test.testnull2  table_id:210 Gno:1000451 


现在使用mysqlbinlog --hexdump -vv 进行解析


先来看update event
二进制解析
# at 389
#170213  9:38:44 server id 93157  end_log_pos 441 CRC32 0x21c0591d 
# Position  Timestamp   Type   Master ID        Size      Master Pos    Flags 
#      185 24 0e a1 58   1f   e5 6b 01 00   34 00 00 00   b9 01 00 00   00 00
#      198 d2 00 00 00 00 00 01 00  02 00 03 ff ff fd 04 74 |...............t|
#      1a8 65 73 74 fa 02 00 00 00  04 74 65 73 74 1d 59 c0 |est......test.Y.|
#      1b8 21                                               |.|
#       Update_rows: table id 210 flags: STMT_END_F


-vv输出
### UPDATE `test`.`testnull2`
### WHERE
###   @1=NULL /* type=3 meta=0 nullable=1 is_null=1 */
###   @2='test' /* VARSTRING(60) meta=60 nullable=1 is_null=0 */
###   @3=NULL /* VARSTRING(60) meta=60 nullable=1 is_null=1 */
### SET
###   @1=2 /* INT meta=0 nullable=1 is_null=0 */
###   @2=NULL /* INT meta=60 nullable=1 is_null=1 */
###   @3='test' /* VARSTRING(60) meta=60 nullable=1 is_null=0 */


分解:
--event header 部分就不解析了table id 210,
  --hexdump也明确的解析了,不理解参考前面的文章
# Position  Timestamp   Type   Master ID        Size      Master Pos    Flags 
#      185 24 0e a1 58   1f   e5 6b 01 00   34 00 00 00   b9 01 00 00   00 00
--fixed data
d2 00 00 00 00 00:表ID就是./infobin中的TABLE_ID:210 也是mysqlbinlog中的Update_rows: table id 210  
                   小端显示
01 00:保留
02 00:m_extra_row_data,这部分是我看源码找到的。
--variable data part
03:表中字段个数,当然我建表就是3个字段
ff: 源码描述为 m_cols; /* Bitmap denoting columns available */    
ff:update专用和上面一致


----update前印象数据:
fd: 11111101 代表字段@1=NULL和@3=NULL,但是字段@2不为空这和mysqlbinlog解析的一致
    @1=NULL /* type=3 meta=0 nullable=1 is_null=1 */
    @2='test' /* VARSTRING(60) meta=60 nullable=1 is_null=0 */
    @3=NULL /* VARSTRING(60) meta=60 nullable=1 is_null=1 */
04:var 长度04 就是数据'test'的长度为4,这个也就是@2='test'事update的前印象
74 65 73 74:字符串'test'


----update后印象数据(update 专用):
fa:11111010,@2=NULL,但是修改后@1和@3不为空和mysqlbinlog解析一致
    @1=2 /* INT meta=0 nullable=1 is_null=0 */
    @2=NULL /* INT meta=60 nullable=1 is_null=1 */
    @3='test' /* VARSTRING(60) meta=60 nullable=1 is_null=0 */    
02 00 00 00 :也就是数据2也是@1=2也就是update的后印象,小端显示
04: var 长度04 就是数据'test'的长度为4,也就是
74 65 73 74:字符串'test'也是@3='test'也就是update的后印象


1d 59 c0 21:CRC32校验




然后来看delete event
二进制解析
# at 667
#170213  9:38:50 server id 93157  end_log_pos 712 CRC32 0x055741c1 
# Position  Timestamp   Type   Master ID        Size      Master Pos    Flags 
#      29b 2a 0e a1 58   20   e5 6b 01 00   2d 00 00 00   c8 02 00 00   00 00
#      2ae d2 00 00 00 00 00 01 00  02 00 03 ff fa 02 00 00 |................|
#      2be 00 04 74 65 73 74 c1 41  57 05                   |..test.AW.|
#       Delete_rows: table id 210 flags: STMT_END_F




-vv输出
### DELETE FROM `test`.`testnull2`
### WHERE
###   @1=2 /* INT meta=0 nullable=1 is_null=0 */
###   @2=NULL /* INT meta=60 nullable=1 is_null=1 */
###   @3='test' /* VARSTRING(60) meta=60 nullable=1 is_null=0 */


分解:
--event header 部分就不解析了table id 210,
  --hexdump也明确的解析了,不理解参考前面的文章
# Position  Timestamp   Type   Master ID        Size      Master Pos    Flags 
#      185 24 0e a1 58   1f   e5 6b 01 00   34 00 00 00   b9 01 00 00   00 00
--fixed data
d2 00 00 00 00 00:表ID就是./infobin中的TABLE_ID:210 也是mysqlbinlog中的Delete_rows: table id 210 
                   小端显示
01 00:保留
02 00:m_extra_row_data,这部分是我看源码找到的。
--variable data part
03:表中字段个数,当然我建表就是3个字段
ff: 源码描述为 m_cols; /* Bitmap denoting columns available */    


fa: 11111010 代表字段@2=NULL,但是字段@1 @3不为空这和mysqlbinlog解析的一致
    @1=2 /* INT meta=0 nullable=1 is_null=0 */
    @2=NULL /* INT meta=60 nullable=1 is_null=1 */
    @3='test' /* VARSTRING(60) meta=60 nullable=1 is_null=0 */
02 00 00 00: int 4字节数据 2及@1=2 小端显示
04:var 长度04 就是数据'test'的长度为4,这个也就是@3='test'
74 65 73 74:字符串'test'
c1 41 57 05:crc32 校验


至此UPDATE_ROW_EVENT和DELETE_ROWS_EVENT解析完毕


后记:
1、在UPDATE_ROW_EVENT/DELETE_ROWS_EVENT/WRITE_ROWS_EVENT中存在一个字段值是否为空的位图,如前面所说
   然后紧跟了字段数据,这样根据位图就能确定出那些字段为NULL,而实际存储的值中并不包含NULL字段的数据
   因为它没有数据,同样也为了减少存储空间的使用,这种技术在数据库技术中大量使用,在INNODB PAGES中也
   是用到了。
2、很多闪回工具都依赖了binlog中能够记录了需要的所有信息,我们也看到了update还记录前后印象的值,那么
   也为闪回提供了条件,但是binlog_row_image会影响它的记录方式具体参考官方手册,但是它可以节约空间。    
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
12月前
|
Ubuntu 关系型数据库 MySQL
MySQL二进制包安装
本文详细介绍了在多种Linux系统上通过二进制包安装MySQL 8.0和8.4版本的完整过程,涵盖用户创建、glibc版本匹配、程序解压、环境变量配置、初始化数据库及服务启动等步骤,并提供支持多发行版的一键安装脚本,助力高效部署MySQL环境。
1992 4
MySQL二进制包安装
|
SQL 运维 关系型数据库
深入探讨MySQL的二进制日志(binlog)选项
总结而言,对MySQL binlogs深度理解并妥善配置对数据库运维管理至关重要;它不仅关系到系统性能优化也是实现高可靠性架构设计必须考虑因素之一。通过精心规划与周密部署可以使得该机能充分发挥作用而避免潜在风险带来影响。
405 6
|
存储 SQL 关系型数据库
MySQL中binlog、redolog与undolog的不同之处解析
每个都扮演回答回溯与错误修正机构角色: BinLog像历史记载员详细记载每件大大小小事件; RedoLog则像紧急救援队伍遇见突發情況追踪最后活动轨迹尽力补救; UndoLog就类似时间机器可倒带历史让一切归位原始样貌同时兼具平行宇宙观察能让多人同时看见各自期望看见历程而互不干扰.
657 9
|
存储 SQL 关系型数据库
MySQL 核心知识与索引优化全解析
本文系统梳理了 MySQL 的核心知识与索引优化策略。在基础概念部分,阐述了 char 与 varchar 在存储方式和性能上的差异,以及事务的 ACID 特性、并发事务问题及对应的隔离级别(MySQL 默认 REPEATABLE READ)。 索引基础部分,详解了 InnoDB 默认的 B+tree 索引结构(多路平衡树、叶子节点存数据、双向链表支持区间查询),区分了聚簇索引(数据与索引共存,唯一)和二级索引(数据与索引分离,多个),解释了回表查询的概念及优化方法,并分析了 B+tree 作为索引结构的优势(树高低、效率稳、支持区间查询)。 索引优化部分,列出了索引创建的六大原则
379 2
|
存储 SQL 关系型数据库
MySQL 核心知识与性能优化全解析
我整理的这份内容涵盖了 MySQL 诸多核心知识。包括查询语句的书写与执行顺序,多表查询的连接方式及内、外连接的区别。还讲了 CHAR 和 VARCHAR 的差异,索引的类型、底层结构、聚簇与非聚簇之分,以及回表查询、覆盖索引、左前缀原则和索引失效情形,还有建索引的取舍。对比了 MyISAM 和 InnoDB 存储引擎的不同,提及性能优化的多方面方法,以及超大分页处理、慢查询定位与分析等,最后提到了锁和分库分表可参考相关资料。
301 0
|
关系型数据库 MySQL
MySQL字符串拼接方法全解析
本文介绍了四种常用的字符串处理函数及其用法。方法一:CONCAT,用于基础拼接,参数含NULL时返回NULL;方法二:CONCAT_WS,带分隔符拼接,自动忽略NULL值;方法三:GROUP_CONCAT,适用于分组拼接,支持去重、排序和自定义分隔符;方法四:算术运算符拼接,仅适用于数值类型,字符串会尝试转为数值处理。通过示例展示了各函数的特点与应用场景。
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
688 158
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1817 152
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
1245 156

推荐镜像

更多