【MySQL】Innodb 恢复工具介绍

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介:
   在和数据打交道的过程中,总会遇到误删除数据的情况,在没有备份和binlog的情况下,如何恢复呢?本文介绍一个工具Percona Data Recovery Tool for InnoDB 
使用 该工具的 注意事项:
1 The tools work only for InnoDB/XtraDB tables, and will not work with MyISAM tables. Percona does have a preliminary set of tools for MyISAM data recovery;  
2 The tools work on a saved copy of your data files, not on the running MySQL server.
3 There is no guarantee. Even with these tools, data is sometimes unrecoverable. For example, data that is overwritten cannot be recovered with these tools. There may be file system specific or physical means to recover overwritten data.
如果数据被覆盖,则使用该工具无法恢复。必须使用系统或者物理方法来恢复
4 Time is of the essence. The best chance for recovery comes when you act immediately to save a copy of your raw data files as soon as you discover the loss or corruption.
  当发生误删除数据时必须立即备份表文件以便确保数据被覆盖或者损坏。
5 There is manual work to do. Not everything is automatic.
6 Recovery depends on knowing your data. As part of the process you may have to choose between two versions of your data. The better you know your data, the better the chance you'll be able to recover it.
需要理解的是innodb-tools工具不是通过连接到在线的database进行数据恢复,而是通过离线拷贝数据的方式进行的。
注意:不要在MySQL运行的时候,直接拷贝InnoDB文件,这样是不安全的,会影响数据恢复过程。不过这点我做了测试,在数据库运行的时候是可以进行数据库恢复的。
    
一 安装
 进入解压后根目录下的mysql-source目录,运行配置命令,不运行make命令
 wget https://launchpad.net/percona-data-recovery-tool-for-innodb/trunk/release-0.5/+download/percona-data-recovery-tool-for-innodb-0.5.tar.gz
 cd percona-data-recovery-tool-for-innodb-0.5/mysql_source/
 ./configure
 cd ..
 make 
编译生成page_parser和constraints_parser工具 
注意create_defs.pl脚本需要依赖DBD,DBI,安装过程中可能会遇到错误。

二 模拟误删除数据

root@127.0.0.1 : test 22:12:22> delete from mac where id < 51398;
Query OK, 4999 rows affected (0.62 sec)
root@127.0.0.1 : test 22:12:29> 

三  获取数据页
InnoDB页的默认大小是16K,innodb的page分为两大部分,一部分一级索引部分,另一部分为二级索引部分。page_parser工具通过读取数据文件,根据页头中的index ID,拷贝每个页到一个单独的文件中。
如果你的my.cnf配置了innodb_file_per_table=1,那么系统已经帮你实现上述过程。所有需要的页都在单独的.ibd文件,而且通常你不需要再切分它
如果.ibd文件中可能包含多个index,那么将页单独切分开还是有必要的。如果MySQL server没有配置innodb_file_per_table,那么数据会被保存在一个全局的表命名空间,这时候就需要按页对文件进行切分。 
[root@rac1 recovery-tool]# ./page_parser  -5 -f /opt/mysql/data/test/mac.ibd   
-5:代表 row format为Compact
-f:代表要解析的文件
输出信息:       
Opening file: /opt/mysql/data/test/mac.ibd:
2051            ID of device containing file
20283635                inode number
33200           protection
1               number of hard links
103             user ID of owner
106             group ID of owner
0               device ID (if special file)
11534336                total size, in bytes
4096            blocksize for filesystem I/O
22560           number of blocks allocated
1377958353      time of last access
1377958359      time of last modification
1377958359      time of last status change
11534336        Size to process in bytes
104857600       Disk cache size in bytes
[root@rac1 recovery-tool]# less pages-1377958391/FIL_PAGE_INDEX/0-205
0-2057/ 0-2058/ 0-2059/ 
以上三个为索引文件 0-2057/主键,0-2058/ 0-2059/ 二级索引。可以安装开启innodb_table_monitor获取。
四 获取表结构的定义
 
 ./create_defs.pl  --host 127.0.0.1 --user root --port 3306 --db test --table mac > include/table_defs.h  
[root@rac1 recovery-tool]# more include/table_defs.h
#ifndef table_defs_h
#define table_defs_h

// Table definitions
table_def_t table_definitions[] = {
        {
                name: "mac",
                {
                        { /* int(10) unsigned */
                                name: "id",
                                type: FT_UINT,
                                fixed_length: 4,

                                has_limits: FALSE,
                                limits: {
                                        can_be_null: FALSE,
                                        uint_min_val: 0,
                                        uint_max_val: 4294967295ULL
                                },

                                can_be_null: FALSE
                        },
                        { /*  */
                                name: "DB_TRX_ID",
                                type: FT_INTERNAL,
                                fixed_length: 6,

                                can_be_null: FALSE
                        },
                        { /*  */
                                name: "DB_ROLL_PTR",
                                type: FT_INTERNAL,
                                fixed_length: 7,

                                can_be_null: FALSE
                        },
                        { /* varchar(50) */
                                name: "mac",
                                type: FT_CHAR,
                                min_length: 0,
                                max_length: 150,

                                has_limits: FALSE,
                                limits: {
                                        can_be_null: FALSE,
                                        char_min_len: 0,
                                        char_max_len: 150,
                                        char_ascii_only: TRUE
                                },

                                can_be_null: FALSE
                        },
                        { /* varchar(50) */
                                name: "name",
                                type: FT_CHAR,
                                min_length: 0,
                                max_length: 150,

                                has_limits: FALSE,
                                limits: {
                                        can_be_null: TRUE,
                                        char_min_len: 0,
                                        char_max_len: 150,
                                        char_ascii_only: TRUE
                                },

                                can_be_null: TRUE
                        },
                        { /* tinyint(4) */
                                name: "scope",
                                type: FT_INT,
                                fixed_length: 1,

                                has_limits: FALSE,
                                limits: {
                                        can_be_null: TRUE,
                                        int_min_val: -128,
                                        int_max_val: 127
                                },

                                can_be_null: TRUE
                        },
                        { /* datetime */
                                name: "gmt_create",
                                type: FT_DATETIME,
                                fixed_length: 8,

                                can_be_null: FALSE
                        },
                        { /* datetime */
                                name: "gmt_modify",
                                type: FT_DATETIME,
                                fixed_length: 8,

                                can_be_null: FALSE
                        },
                        { type: FT_NONE }
                }
        },
};

#endif
五 根据include/table_defs.h,重新编译constraints_parser工具:
[root@rac1 recovery-tool]# make
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS=64 -D_LARGEFILE64_SOURCE=1 -D_LARGEFILE_SOURCE=1 -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -c tables_dict.c -o lib/tables_dict.o
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS=64 -D_LARGEFILE64_SOURCE=1 -D_LARGEFILE_SOURCE=1 -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -c check_data.c -o lib/check_data.o
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS=64 -D_LARGEFILE64_SOURCE=1 -D_LARGEFILE_SOURCE=1 -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -o constraints_parser constraints_parser.c lib/tables_dict.o lib/print_data.o lib/check_data.o lib/libut.a lib/libmystrings.a
gcc -DHAVE_OFFSET64_T -D_FILE_OFFSET_BITS=64 -D_LARGEFILE64_SOURCE=1 -D_LARGEFILE_SOURCE=1 -Wall -O3 -g -I include -I mysql-source/include -I mysql-source/innobase/include -static -lrt -o page_parser page_parser.c lib/tables_dict.o lib/libut.a 
恢复误删除的数据:
./constraints_parser -D -5 -f pages-1377958391/FIL_PAGE_INDEX/0-2057/ > /tmp/mac.rec
LOAD DATA INFILE '/root/recovery-tool/dumps/default/mac' REPLACE INTO TABLE `mac` FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '"' LINES STARTING BY 'mac\t' (id, mac, name, scope, gmt_create, gmt_modify);

执行 constraints_parser 命令会生成上午load data 的命令,在数据库中执行上述命令即可.
root@127.0.0.1 : test 22:20:54> select count(1) from mac;
+----------+
| count(1) |
+----------+
|     9973 |
+----------+
1 row in set (0.00 sec)
root@127.0.0.1 : test 22:21:09> LOAD DATA INFILE '/tmp/mac.rec' REPLACE INTO TABLE `mac` FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '"' LINES STARTING BY 'mac\t' (id, mac, name, scope, gmt_create, gmt_modify);
Query OK, 4999 rows affected (0.22 sec)
Records: 4999  Deleted: 0  Skipped: 0  Warnings: 0
root@127.0.0.1 : test 22:21:13> select count(1) from mac;
+----------+
| count(1) |
+----------+
|    14972 |
+----------+
1 row in set (0.00 sec)
root@127.0.0.1 : test 22:21:18> exit

总结
 1 整个恢复过程并不顺利,Percona 依赖于perl,在安装的时候遇到DBD安装不了的问题。
 2 可以恢复delete的数据,如果执行truncate table 是恢复失败的,drop的时候ibd文件丢同样没有文件来获取数据页而无法进行恢复。
  对于truncate的测试例子大家可以手动测试一下。
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
340 4
|
9天前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
25 3
|
1月前
|
SQL 缓存 关系型数据库
MySQL高级篇——性能分析工具
MySQL的慢查询日志,用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long-query_time值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为 10,意思是运行10秒以上(不含10秒)的语句,认为是超出了我们的最大忍耐时间值。它的主要作用是,帮助我们发现那些执行时间特别长的 SOL 查询,并且有针对性地进行优化,从而提高系统的整体效率。当我们的数据库服务器发生阻塞、运行变慢的时候,检查一下慢查询日志,找到那些慢查询,对解决问题很有帮助。
MySQL高级篇——性能分析工具
|
27天前
|
安全 关系型数据库 MySQL
Navicat工具设置MySQL权限的操作指南
通过上述步骤,您可以使用Navicat有效地为MySQL数据库设置和管理用户权限,确保数据库的安全性和高效管理。这个过程简化了数据库权限管理,使其既直观又易于操作。
149 4
|
12天前
|
存储 缓存 关系型数据库
详细解析MySQL中的innodb和myisam
总之,InnoDB和MyISAM各有千秋,选择合适的存储引擎应基于对应用程序特性的深入理解,以及对性能、数据完整性和可扩展性的综合考量。随着技术发展,InnoDB因其全面的功能和日益优化的性能,逐渐成为更广泛场景下的首选。然而,在特定条件下,MyISAM依然保留其独特的价值。
33 0
|
2月前
|
SQL 关系型数据库 MySQL
在Linux中,mysql 数据备份工具有哪些?
在Linux中,mysql 数据备份工具有哪些?
|
2月前
|
监控 关系型数据库 MySQL
在Linux中,mysql的innodb如何定位锁问题?
在Linux中,mysql的innodb如何定位锁问题?
|
2月前
|
SQL 存储 关系型数据库
MySQL备份:mydumper 备份恢复工具生产实战
MySQL备份:mydumper 备份恢复工具生产实战
|
2月前
|
关系型数据库 MySQL 数据库
MySQL回滚工具:binlog 闪回工具 MyFlash工具
MySQL回滚工具:binlog 闪回工具 MyFlash工具
|
2月前
|
SQL 存储 关系型数据库
"MySQL增列必锁表?揭秘InnoDB在线DDL,让你的数据库操作飞一般,性能无忧!"
【8月更文挑战第11天】在数据库领域,MySQL凭借其稳定高效的表现深受开发者喜爱。对于是否会在给数据表添加列时锁表的问题,MySQL的行为受版本、存储引擎等因素影响。从5.6版起,InnoDB支持在线DDL,可在改动表结构时保持表的可访问性,避免长时间锁表。而MyISAM等则需锁表完成操作。例如,在使用InnoDB的表上运行`ALTER TABLE users ADD COLUMN email VARCHAR(255);`时,通常不会完全锁表。虽然在线DDL提高了灵活性,但复杂操作或大表变更仍可能暂时影响性能。因此,进行结构变更前应评估其影响并择机执行。
62 6