【MySQL核心】MySQL 数据恢复-ibd2sql

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 【MySQL核心】MySQL 数据恢复-ibd2sql

简介

ibd2sql 是一个将 MySQL ibd 文件解析成 SQL 语句的工具,它可以解析出建表语句和 SQL 语句,并且支持 MySQL8.* 和 MySQL5.* 版本。可以解析损坏的 ibd 文件来获取可用的信息,这对于数据表损坏的场景非常友好。接下来一起了解下他的神奇功能。

项目地址:https://github.com/ddcw/ibd2sql

注意: 执行操作前先请备份数据,注意磁盘空间大小

安装

  • 在使用项目前,请安装 python3

windows 可以直接下载:https://github.com/ddcw/ibd2sql/archive/refs/heads/main.zip

linux:

# 安装python 3
yum install -y python3
# 下载安装包
wget https://github.com/ddcw/ibd2sql/archive/refs/heads/main.zip
# 解压
unzip main.zip
# 进入安装目录
cd ibd2sql-main

详细参数可以参见如下连接:

https://github.com/ddcw/ibd2sql/blob/e571766b00f3b728ecbcbc7a7f612bc8e04715dd/docs/USAGE.md

使用

ibd2sql 原生支持 mysql8.0 对于 mysql5.6/5.7 的文件解析也需要依赖 mysql8.0 的 ibd 文件来解析出建表语句。

也就是说当你要解析 mysql5.6/5.7 的 ibd 文件时,需要先在 mysql8.0 的实例中创建需要恢复的表,ibd2sql 需要使用新建表的 ibd 文件来解析出建表信息(用来支持获取insert 语句)。

这里就有一个问题了,如果你没有建表语句是不是就不能使用 ibd2sql 了? 你可以使用 dbsake 工具来获取 mysql 5.* 版本的建表语句。可以看我写的 dbsake 的文章来获取用法。注意不要使用 mysqlfrm 工具,可能存在解析的数据字段长度不精确,获取时间字段有问题等问题。

用法(mysql 8.0)

解析表结构
python3 main.py xxx.ibd --ddl
  • –ddl 获取建表语句
解析表数据
python3 main.py xxx.ibd --sql
  • –sql 获取 insert 数据
解析表结构和数据
python3 main.py xxx.ibd --ddl --sql
解析误删的数据
python3 main.py xxx.ibd --sql --delete
  • –delete 获取误删数据
解析分区表

分区表需要指定元数据信息

python3 main.py --sdi-table /your_path/ddcw_partition_range#p#p0.ibd   /your_path/ddcw_partition_range#p#p1.ibd --sql
  • –sdi-table 指定存储建表语句的 ibd 文件 后面跟要恢复的文件

用法(mysql 5.6/5.7)

mysql 5.6/5.7 需要先用 dbsake 工具获取建表语句并导入到 mysql8.0 中,用来给ibd2sql获取元数据信息。

# 提取ddl
dbsake frmdump test.frm 
# 导入 MySQL 8 
dbsake frmdump test.frm  |mysql 
# 解析
python3 main.py --sdi-table /your_mysq8_path/ddcw_alltype_table.ibd /your_mysql5_path/ddcw_alltype_table.ibd  --sql --mysql5
  • –sdi-table 指定 mysql8 的 ibd 文件
  • –mysql5 代表恢复的是 MySQL 5 版本的数据

针对 ibd 文件损坏的场景(重点)

对于 ibd 文件损坏的场景,可以使用按数据页进行解析。

mysql8
python3 main.py /your_path/test.ibd  --sql --page-start 1000 --page-count 1 2>/dev/null
  • /your_path/test.ibd 你的需要恢复的 ibd 文件路径
  • –sql 解析成 SQL
  • –page-start 指定开始解析的页数
  • –page-count 指定向后解析多少页
mysql5
python3 main.py  --sdi-table /your_mysql8_path/test.ibd    /your_mysql5_path/test.ibd  --sql --page-start 1000 --page-count 1  2>/dev/null
  • –sdi-table 指定 mysql8 的 ibd 文件
  • /your_mysql5_path/test.ibd 你的需要恢复的 ibd 文件
  • –page-start 指定开始解析的页数
  • –page-count 指定向后解析多少页

ibd 文件损坏实战(mysql5)

使用两个脚本来并发解析损坏的 ibd 文件,主脚本用来计算数据页数量,按照空闲的 CPU 核心数开启 N 个批处理子脚本。

使用前请安装 mysql8 的实例,用来创建表。

使用前请安装 dbsake 命令,用来生成表 ,以下链接获取。

https://blog.csdn.net/weixin_45385457/article/details/141135847

vim ibd2sql.sh

#!/bin/bash
table_name="$1"                                           # 要解析的表名
old_data_path="/data1/mysql-5.6.16-winx64/data_old/test"  # 老的数据库路径(保存 ibd 文件的库路径)
mysql8_data_path="/mydata/3309/test"                      # 新的 mysql8 的 路径(保存 ibd 文件的库路径)
mysql8_conn="/usr/local/mysql/mysql80/bin/mysql -S /mydata/3309/mysql.sock test " # mysql8 连接信息
output_path=/tmp/table_data                               # 输出 .sql 文件的路径
filename="${table_name}.ibd"
>${output_path}/${table_name}.sql
# dbsake 获取表结构  sed 过滤后 导入 mysql8
/usr/local/bin/dbsake frmdump ${old_data_path}/${table_name}.frm |sed  's#datetime DEFAULT NULL#datetime null DEFAULT NULL#g'|sed  's#timestamp DEFAULT NULL#datetime null DEFAULT NULL#g'  ${mysql8_conn}
if [ $? -ne 0 ];then
    echo "MySQL 表结构导入失败"
    exit
fi
sleep 1 
# 指定 mysql8 的 ibd 文件生成建表语句
python3 main.py ${mysql8_data_path}/${filename} --ddl  >>${output_path}/${table_name}.sql
# 计算文件大小
filesize=`stat -c %s ${old_data_path}/${filename}`
# 获取数据页数量
maxpagecount=$[ ${filesize} / 16384 ]
current_page=1
# 循环数据页
while [ ${current_page} -le ${maxpagecount} ];do
  echo "-- ${filename} ${maxpagecount}  PAGE NO: ${current_page}" >>ibd_progress_${table_name}.log; 
  current_page=$[ ${current_page} + 1 ]
  
  # 指定生成回滚 sql
  timeout 2s python3 main.py  --sdi-table  ${mysql8_data_path}/${filename}  ${old_data_path}/${filename} --sql --mysql5 --page-start ${current_page} --page-count 1  >>${output_path}/${table_name}.sql
done

ibd 文件损坏实战(mysql8)

同上,只是不需要 dbsake 和安装其他实例了,可以直接解析 ibd 文件。

vim ibd2sql.sh

#!/bin/bash
table_name="$1"                              # 要解析的表名
old_data_path="/data1/mysql8/data_old/test"  # 老的数据库路径(保存 ibd 文件的库路径)
output_path=/tmp/table_data                  # 输出 .sql 文件的路径
filename="${table_name}.ibd"
>${output_path}/${table_name}.sql
# 指定 mysql8 的 ibd 文件生成建表语句
python3 main.py ${old_data_path}/${filename} --ddl  >>${output_path}/${table_name}.sql
# 计算文件大小
filesize=`stat -c %s ${old_data_path}/${filename}`
# 获取数据页数量
maxpagecount=$[ ${filesize} / 16384 ]
current_page=1
# 循环数据页
while [ ${current_page} -le ${maxpagecount} ];do
  echo "-- ${filename} ${maxpagecount}  PAGE NO: ${current_page}" >>ibd_progress_${table_name}.log; 
  current_page=$[ ${current_page} + 1 ]
  
  # 指定生成回滚 sql
  timeout 2s python3 main.py  ${old_data_path}/${filename} --sql --page-start ${current_page} --page-count 1  >>${output_path}/${table_name}.sql
done

运行

sh ibd2sql.sh 
# 后台运行更稳定 nohup &

完整解决方案参见:https://blog.csdn.net/weixin_45385457/article/details/141136121


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
11天前
|
SQL 关系型数据库 MySQL
mysql 简单的sql语句,入门级增删改查
介绍MySQL中的基本SQL语句,包括数据的增删改查操作,使用示例和简单的数据表进行演示。
mysql 简单的sql语句,入门级增删改查
|
18天前
|
SQL 数据库
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库。 SQL Server数据库出现823错误的可能原因有:数据库物理页面损坏、数据库物理页面校验值损坏导致无法识别该页面、断电或者文件系统问题导致页面丢失。
84 12
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
|
1月前
|
SQL 存储 缓存
浅析MySQL中的SQL执行过程
本文探讨了MySQL的体系结构、SQL执行流程及SQL执行时间分析方法。首先介绍了MySQL由连接层、SQL层和存储引擎层构成;接着详细描述了SQL从客户端发送到服务器执行的具体流程;最后,通过启用profiling功能,展示了如何分析SQL执行时间,并说明了MySQL 8.0版本后移除查询缓存的原因。
浅析MySQL中的SQL执行过程
|
24天前
|
存储 SQL 关系型数据库
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
MySQL调优主要分为三个步骤:监控报警、排查慢SQL、MySQL调优。 排查慢SQL:开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优: 基础优化:缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表; 表设计优化:数据类型优化、冷热数据分表等。 索引优化:考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。
181 15
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
|
24天前
|
存储 关系型数据库 MySQL
MySQL高级篇——覆盖索引、前缀索引、索引下推、SQL优化、主键设计
覆盖索引、前缀索引、索引下推、SQL优化、EXISTS 和 IN 的区分、建议COUNT(*)或COUNT(1)、建议SELECT(字段)而不是SELECT(*)、LIMIT 1 对优化的影响、多使用COMMIT、主键设计、自增主键的缺点、淘宝订单号的主键设计、MySQL 8.0改造UUID为有序
MySQL高级篇——覆盖索引、前缀索引、索引下推、SQL优化、主键设计
|
16天前
|
SQL 缓存 关系型数据库
揭秘MySQL一条SQL语句的执行流程
以上步骤共同构成了MySQL处理SQL语句的完整流程,理解这一流程有助于更有效地使用MySQL数据库,优化查询性能,及时解决可能出现的性能瓶颈问题。
37 7
|
22天前
|
SQL 监控 关系型数据库
MySQL数据库中如何检查一条SQL语句是否被回滚
检查MySQL中的SQL语句是否被回滚需要综合使用日志分析、事务状态监控和事务控制语句。理解和应用这些工具和命令,可以有效地管理和验证数据库事务的执行情况,确保数据的一致性和系统的稳定性。此外,熟悉事务的ACID属性和正确设置事务隔离级别对于预防数据问题和解决事务冲突同样重要。
30 2
|
25天前
|
SQL 关系型数据库 MySQL
SQL和MySQL
SQL和MySQL
38 1
|
8天前
|
SQL 存储 缓存
MySQL 是怎么执行 SQL 语句的?
MySQL 是怎么执行 SQL 语句的?
12 0
|
11天前
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
下一篇
无影云桌面