如何利用 Myflash 解析 binlog ?

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:

1) 首先需要准备好 Myflash 测试环境

大家可以去这里下载源程序:https://github.com/Meituan-Dianping/MyFlash

这里的测试环境是 Redhat Linux 6.5,直接解压 myflash 无法运行,发现 glibc 版本不匹配,需要 2.14 版本。因此首先需要编译新版本的 glibc。

–下载 glibc 2.14

---下载lib包

# wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz

# wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz

# tar -xvf glibc-2.14.tar.gz

# tar -xvf glibc-ports-2.14.tar.gz

# mv glibc-ports-2.14 glibc-2.14/ports

# mkdir glibc-build-2.14

# cd glibc-build-2.14/

–编译

# ../glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

# make

–拷贝 libc.so.6 到 /lib64

[root@killdb glibc-build-2.14]# cp libc.so.6 /lib64/libc-2.14.so

–删除原来的 libc

[root@killdb lib64]# rm -rf /lib64/libc.so.6

rm: error while loading shared libraries: libc.so.6: cannot open shared object file: No such file or directory

[root@killdb lib64]# export LD_PRELOAD=/lib64/libc-2.14.so

[root@killdb lib64]# rm -rf /lib64/libc.so.6

[root@killdb lib64]# ln -s /lib64/libc-2.14.so /lib64/libc.so.6

–make install

# make install

–确认是否 OK

904e03b470e2db1803ea1532e7b102ce922a9e01

可以看到已经可以了,支持最新的 GLIBC_2.14 了。下面开始测试 myflash。

2) 如下是针对 Myflash 的简单测试过程

–创建测试表

mysql> CREATE TABLE `Test` (

-> `ID` int(11) NOT NULL AUTO_INCREMENT,

-> `NAME` varchar(50) NOT NULL,

-> PRIMARY KEY (`ID`)

-> ) AUTO_INCREMENT=1000

-> ;

–创建测试存储过程模拟 10 万条测试数据

mysql> delimiter $$

mysql> create procedure pro_test()

-> begin

-> declare id int;

-> set id = 100000;

-> while id>0 do

-> insert into Test(name) values ('www.killdb.com');

-> set id = id-1;

-> end while;

-> end $$

Query OK, 0 rows affected (0.00 sec)


mysql> delimiter ;

mysql> call pro_test();

Query OK, 1 row affected (44.21 sec)

–模拟删除 5 万条数据

mysql> delete from Test limit 50000;

Query OK, 50001 rows affected (0.54 sec)


mysql> select count(1) from Test;

+----------+

| count(1) |

+----------+

| 50001 |

+----------+

1 row in set (0.01 sec)


mysql>

–利用 Myflash 解析 binlog

这里简单的修改了一个小脚本,实现了半自动化。

[root@killdb binary]# ./flashback.sh

[root@killdb binary]# cat flashback.sh

#!/bin/bash


file_path=/root/myflash/binary/

cd /root/myflash/binary

./flashback --databaseNames enmotech --tableNames Test --sqlTypes delete --binlogFileNames=/opt/mysql/mysql-bin.000003

./flashback --maxSplitSize=15 --binlogFileNames=binlog_output_base.flashback


arr=`find ${file_path} -name "binlog_output_base.0*"|sort -n`


for i in ${arr}

do

mysqlbinlog ${i} | mysql -S /opt/mysql/mysql.sock

done

–验证数据

mysql> select count(1) from Test;

+----------+

| count(1) |

+----------+

| 100001 |

+----------+

1 row in set (0.02 sec)

可以看到数据很容易就恢复出来了,效率非常高。比 binsql2sql 要高很多。整个恢复过程大概 1~2 秒。不仅是 delete,实际对于 insert 和 update 的 DML 操作,都是支持的。


原文发布时间为:2018-04-25

本文作者:李真旭

本文来自云栖社区合作伙伴“数据和云”,了解相关信息可以关注“数据和云”。

相关文章
|
SQL 存储 关系型数据库
解析MySQL Binlog:从零开始的入门指南【binlog入门指南】
解析MySQL Binlog:从零开始的入门指南【binlog入门指南】
14029 0
|
6月前
|
存储 SQL 关系型数据库
MySQL中binlog、redolog与undolog的不同之处解析
每个都扮演回答回溯与错误修正机构角色: BinLog像历史记载员详细记载每件大大小小事件; RedoLog则像紧急救援队伍遇见突發情況追踪最后活动轨迹尽力补救; UndoLog就类似时间机器可倒带历史让一切归位原始样貌同时兼具平行宇宙观察能让多人同时看见各自期望看见历程而互不干扰.
325 9
|
10月前
|
SQL 运维 关系型数据库
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
|
消息中间件 canal 关系型数据库
Maxwell:binlog 解析器,轻松同步 MySQL 数据
Maxwell:binlog 解析器,轻松同步 MySQL 数据
1570 11
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
1180 0
|
存储 关系型数据库 Serverless
PolarDB产品使用问题之要获取并解析Binlog,该如何操作
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
246 0
|
SQL 监控 关系型数据库
MySQL Binlog深度解析:进阶应用与实战技巧【进阶应用】
MySQL Binlog深度解析:进阶应用与实战技巧【进阶应用】
1020 0
|
存储 SQL 机器学习/深度学习
MySQL 日志体系解析:保障数据一致性与恢复的三位英雄:Redo Log、Undo Log、Bin Log
MySQL 日志体系解析:保障数据一致性与恢复的三位英雄:Redo Log、Undo Log、Bin Log
712 0
|
11月前
|
算法 测试技术 C语言
深入理解HTTP/2:nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例,本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议,提高Web应用的性能和用户体验。对于实际开发中的应用,可以根据需要进一步优化和扩展代码,以满足具体需求。
1066 29
|
11月前
|
前端开发 数据安全/隐私保护 CDN
二次元聚合短视频解析去水印系统源码
二次元聚合短视频解析去水印系统源码
454 4

推荐镜像

更多
  • DNS