如何查看二进制日志ROW模式下最原始的SQL语句

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 如何查看二进制日志ROW模式下最原始的SQL语句
如何查看二进制日志ROW模式下最原始的SQL语句

 MySQL的binlog的ROW模式解析
     在mysql5.6以后,对主从数据一致性要求变高了,statement格式逐渐不太适合业务的需求了,所以生产环境大家都采用了row模
  式,row模式是传输最底层的数据变化的insert的模块来进行主从数据的传输,那么在binlog里面就和普通的statement模式有何差
  别?能否看到最原始的sql语句呢?
1、准备录入数据
   ①create table test1(id int,name varchar(20),sex enum('man','woman'),address varchar(20),grade tinyint(2));

     ee2b5897fa05642e6935aaa9bcbdade79f77c226

   ②INSERT INTO test1 VALUES (0001,'tim','man','hebei','03'); 
     INSERT INTO test1 VALUES (0002,'scott','man','beijing','03');

     a49d0dfc517468373f6797b04c2e8b6c9e2505d8

2、Row模式binlog是乱码
   Row模式下面,binlog里面的ddl语句是正常显示的,但是dml是乱码
    /usr/bin/mysqlbinlog /var/lib/mysql/mysql-bin.000005

    9bbd8d49af47b2e7186ed7ec1c118ebd38f6877e
    0ed2acd124399b28cbe0e0bedca9191b4416f329
    6263cb984d619151e4f57c7f8584ebd0350015a8

3、通过--base64-output=decode-rows -v来查看dml语句
    /usr/bin/mysqlbinlog --base64-output=decode-rows -v /var/lib/mysql/mysql-bin.000005
    可以看到如下效果,不过都是最原始的dml块sql语句

    ef203839d044439b8890c2317eb8c4b342a7e863
    1fcc9abbd4c3916f360e3a4c0d3de23487f2b3c2
    
   PS:这时可以看到dml的insert语句,但是只看到了最终的insert块,而看不到原始的过来的insert语句,很多时候排查问题
   需要原始的insert语句而不是底层的insert块。

4、通过binlog_rows_query_log_events参数来查看最原始的insert sql
  ①先在线设置全局的binlog_rows_query_log_events参数,刷新日志:
     set binlog_rows_query_log_events=1;     
  ②然后刷新日志录入新的数据记录
     flush logs;
     INSERT INTO test1 VALUES(0003,'tiger','man','beijing','03');
  ③解析binlog,没有看到原始的insert语句

    3e3e36882f75b9d4c2b89e69f22352e5575d4dd7
   
  ④通过mysql的命令行查看最原始的insert sql语句
     show binlog events in 'mysql-bin.000007';
     
    bcb9f2399ee7159dc2cde493fa8b7bf8fc5afd80

5、试验总结
     基于以上的试验,可以得出在row模式下,可以通过mysqlbinlog --base64-output=decode-rows –v查看最底层的insert数据
 模块,也可以通过命令行show binlog events in 'mysql-bin.000216';来实时查看最原始的insertsql记录。

   我们可以在搭建数据库的时候,在启动参数文件my.cnf里面事先设置好,如下所示:
     # vim my.cnf
     [mysqld]
     binlog_format=row  # binlog 日志格式
     binlog_rows_query_log_events = 1  # 将原始的操作sql记录写入事件中
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
242 20
|
5月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
413 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
11月前
|
SQL 关系型数据库 MySQL
【MySQL】根据binlog日志获取回滚sql的一个开发思路
【MySQL】根据binlog日志获取回滚sql的一个开发思路
|
6月前
|
SQL Java 数据库连接
如何在 Java 代码中使用 JSqlParser 解析复杂的 SQL 语句?
大家好,我是 V 哥。JSqlParser 是一个用于解析 SQL 语句的 Java 库,可将 SQL 解析为 Java 对象树,支持多种 SQL 类型(如 `SELECT`、`INSERT` 等)。它适用于 SQL 分析、修改、生成和验证等场景。通过 Maven 或 Gradle 安装后,可以方便地在 Java 代码中使用。
1815 11
|
10月前
|
SQL 存储 缓存
高基数 GroupBy 在 SLS SQL 中的查询加速
本文详细介绍了SLS中的高基数GroupBy查询加速技术。
231 60
|
7月前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理,包括它们如何确保数据的一致性和完整性,以及在事务提交过程中各自的角色。同时,文章还探讨了这些日志在故障恢复中的重要性,强调了合理配置相关参数对于提高系统稳定性的必要性。
|
9月前
|
SQL 数据库
为什么 SQL 日志文件很大,我应该如何处理?
为什么 SQL 日志文件很大,我应该如何处理?
|
9月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
90 1
|
9月前
|
SQL 数据库
为什么SQL日志文件很大,该如何处理?
为什么SQL日志文件很大,该如何处理?
|
11月前
|
SQL Java 关系型数据库
SpringBoot 系列之 MyBatis输出SQL日志
这篇文章介绍了如何在SpringBoot项目中通过MyBatis配置输出SQL日志,具体方法是在`application.yml`或`application.properties`中设置MyBatis的日志实现为`org.apache.ibatis.logging.stdout.StdOutImpl`来直接在控制台打印SQL日志。
SpringBoot 系列之 MyBatis输出SQL日志

热门文章

最新文章