MySQL 利用 frm 文件和 ibd 文件恢复表结构和表数据

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL 利用 frm 文件和 ibd 文件恢复表结构和表数据

frm文件和ibd文件简介

  • 在MySQL中,使用默认的存储引擎innodb创建一张表,那么在库名文件夹下面就会出现表名.frm表名.ibd两个文件

    • ibd文件是innodb的表数据文件
    • frm文件是innodb的表结构文件

      • 需要注意的是,frm文件ibd文件都是不能直接打开
      • 恢复数据之前,需要先恢复表结构
    • 在有建表语句的前提下,可以直接跳到ibd文件恢复表数据,不需要使用frm文件恢复表结构

frm文件恢复表结构

  • 前提是已经备份了对应的frm文件
  • 建议重新启动一个MySQL实例,待数据恢复后,通过mysqldump备份数据,再重新恢复到需要使用的数据库里
  • 在新启动的实例上创建一个同名的表,例如study.frm,表示表名称为study

    • 在不知道表结构的情况下,可以先定义一个字段,稍后可以通过mysql.err日志内查看表字段的数量
create table study (id int);
  • 创建完表后,在对应的数据目录下就会生成study.frmstudy.ibd文件,然后使用之前备份的study.frm来替换现有的study.frm,切记,不要着急替换study.ibd文件,这个文件在恢复表结构后再使用

    • 注意替换文件后的study.frm文件的权限,确保和其他文件的属主和属组是一样的
    • 重启mysql数据库
查看日志
grep study mysql.err | grep columns
容器启动的MySQL,直接使用 docker restart <容器id>来重启MySQL服务

如果是容器启动的MySQL,可以使用下面的命令在容器外查看日志

docker logs <容器id> | grep study | grep columns
  • 通过日志,我们可以看到,study这个表,之前有5个字段,但是我们现在只有1个字段
[Warning] InnoDB: Table hello@002dworld/study contains 1 user defined columns in InnoDB, but 5 columns in MySQL. Please check INFORMATION_SCHEMA.INNODB_SYS_COLUMNS and http://dev.mysql.com/doc/refman/5.7/en/innodb-troubleshooting.html for how to resolve the issue.
  • 这个时候,我们可以把原来的表删掉
drop table study;
  • 然后重新创建一个和原来的表相同字段的表,切记,表名称要一样字段内容不重要,只需要字段数量一致
create table study (id1 int,id2 int,id3 int,id4 int,id5 int);
  • 现在可以看到我们的建表语句了,当然,这个是上面使用的建表语句,咱们继续往下
show create table study\G
*************************** 1. row ***************************
       Table: study
Create Table: CREATE TABLE `study` (
  `id1` int(11) DEFAULT NULL,
  `id2` int(11) DEFAULT NULL,
  `id3` int(11) DEFAULT NULL,
  `id4` int(11) DEFAULT NULL,
  `id5` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin
1 row in set (0.00 sec)
  • 确认是否开启了innodb_force_recovery参数,正常情况下,如果不是为了恢复数据是不会开启这个参数的

    • innodb_force_recovery 参数需要配置到 my.cnf 中的 [mysqld] 模块下,取值范围是0-6默认是0
    • 1: (SRV_FORCE_IGNORE_CORRUPT): 忽略检查到的corrupt页
    • 2: (SRV_FORCE_NO_BACKGROUND): 阻止主线程的运行,如主线程需要执行full purge操作,会导致crash
    • 3: (SRV_FORCE_NO_TRX_UNDO): 不执行事务回滚操作
    • 4: (SRV_FORCE_NO_IBUF_MERGE): 不执行插入缓冲的合并操作
    • 5: (SRV_FORCE_NO_UNDO_LOG_SCAN): 不查看重做日志,InnoDB存储引擎会将未提交的事务视为已提交
    • 6: (SRV_FORCE_NO_LOG_REDO): 不执行前滚的操作
    • 当设置参数值大于0后,可以对表进行selectcreatedrop操作,但insertupdate或者delete这类操作是不允许的
grep 'innodb_force' my.cnf
  • 插入配置到my.cnf配置文件中,然后再次替换study.frm文件,并重启MySQL服务

    • 注意替换文件后的study.frm文件的权限,确保和其他文件的属主和属组是一样的
sed -i '/\[mysqld\]/a\innodb_force_recovery=6' my.cnf
  • 重启完成后,再次查看建表语句
show create table study\G
*************************** 1. row ***************************
       Table: study
Create Table: CREATE TABLE `study` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(20) COLLATE utf8_bin DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `time` int(11) DEFAULT NULL,
  `lang` varchar(20) COLLATE utf8_bin DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin
1 row in set (0.00 sec)
  • 到这里,我们已经成功找回之前的建表语句了,通过这个语句,就可以恢复之前的表了

    • 复制获取的建表语句,注释掉之前的innodb_force_recovery参数,并且重启MySQL服务
sed -i '/innodb_force_recovery/s/^\(.*\)$/#\1/g' my.cnf
  • 再次删掉study这个表
drop table study;
  • 然后使用上面获取到的建表语句重新建表,注意最后加上一个分号,这是SQL的语法格式
CREATE TABLE `study` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(20) COLLATE utf8_bin DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `time` int(11) DEFAULT NULL,
  `lang` varchar(20) COLLATE utf8_bin DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

ibd文件恢复表数据

  • 在有建表语句的情况下,使用idb文件恢复数据,相比使用frm文件恢复表数据要简单方便很多
  • 删除当前的ibd文件
alter table study discard tablespace;
  • 将之前备份的study.ibd文件复制到对应的数据目录下,使用下面的命令将数据加载到MySQL数据库里

    • 注意替换文件后的study.ibd文件的权限,确保和其他文件的属主和属组是一样的
alter table study import tablespace;
  • 再次查看数据表,发现之前的数据也回来了
select * from study;
+------+------+------+----------+---------+
| id   | name | age  | time     | lang    |
+------+------+------+----------+---------+
|    1 | tom  |   26 | 20211024 | chinese |
+------+------+------+----------+---------+
  • 记得备份数据,数据是无价的

通过脚本利用ibd文件恢复数据

前提是表结构是存在的
注意自己的数据库是否区分大小写,以及表名称是否有大小写,如果表名称有大小写,新启动的mysql一定要开启大小写[开启大小写参数:lower_case_table_names = 0]
mysql_user变量的值为 mysql数据目录的属主和属组
根据实际场景修改 mysql_cmd变量的值,修改成自己 用户名用户密码主机ip
mysql_data_dir变量的值为 mysql数据存储路径
back_data_dir变量的值为 备份下来的ibd文件存储路径
#!/bin/bash
base_dir=$(cd `dirname $0`; pwd)
mysql_user='mysql'
mysql_cmd="mysql -N -uroot -proot -h192.168.70.49"
databases_list=($(${mysql_cmd} -e 'SHOW DATABASES;' | egrep -v 'information_schema|mysql|performance_schema|sys'))
mysql_data_dir='/var/lib/mysql'
back_data_dir='/tmp/back-data'

for (( i=0; i<${#databases_list[@]}; i++ ))
do
  tables_list=($(${mysql_cmd} -e "SELECT table_name FROM information_schema.tables WHERE table_schema=\"${databases_list[i]}\";"))
  database_name=${databases_list[i]/-/@002d}

  for (( table=0; table<${#tables_list[@]}; table++ ))
  do
    ${mysql_cmd} -e "alter table \`${databases_list[i]}\`.${tables_list[table]} discard tablespace;"
    rm -f ${mysql_data_dir}/${database_name}/${tables_list[table]}.ibd
    cp ${back_data_dir}/${database_name}/${tables_list[table]}.ibd ${mysql_data_dir}/${database_name}/
    chown -R ${mysql_user}.${mysql_user} ${mysql_data_dir}/${database_name}/
    ${mysql_cmd} -e "alter table \`${databases_list[i]}\`.${tables_list[table]} import tablespace;"
    sleep 5
  done
done

通过shell脚本导出mysql所有库的所有表的表结构

mysql_cmddump_cmd的变量值根据实际环境修改,修改成自己 用户名用户密码主机ip
databases_list只排除了mysql的系统库,如果需要排除其他库,可以修改 egrep -v后面的值
导出的表结构以库名来命名,并且加入了 CREATE DATABASE IF NOT EXISTS语句
#!/bin/bash
base_dir=$(cd `dirname $0`; pwd)
mysql_cmd="mysql -N -uroot -proot -h192.168.70.49"
dump_cmd="mysqldump -uroot -proot -h192.168.70.49"
databases_list=($(${mysql_cmd} -e 'SHOW DATABASES;' | egrep -v 'information_schema|mysql|performance_schema|sys'))

for (( i=0; i<${#databases_list[@]}; i++ ))
do
  tables_list=($(${mysql_cmd} -e "SELECT table_name FROM information_schema.tables WHERE table_schema=\"${databases_list[i]}\";"))

  [[ ! -f "${base_dir}/${databases_list[i]}.sql" ]] || rm -f ${base_dir}/${databases_list[i]}.sql
  echo "CREATE DATABASE IF NOT EXISTS \`${databases_list[i]}\`;" >> ${base_dir}/${databases_list[i]}.sql
  echo "USE \`${databases_list[i]}\`;" >> ${base_dir}/${databases_list[i]}.sql

  for (( table=0; table<${#tables_list[@]}; table++ ))
  do
    ${dump_cmd} -d ${databases_list[i]} ${tables_list[table]} >> ${base_dir}/${databases_list[i]}.sql
  done
done
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
9天前
|
canal 关系型数据库 MySQL
实时计算 Flink版产品使用问题之在进行整库同步MySQL数据到StarRocks时,遇到全量数据可以同步,但增量数据无法同步,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3天前
|
存储 关系型数据库 MySQL
|
2天前
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用问题之如何查看数据离线同步每天从MySQL抽取的数据量
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1天前
|
Java 关系型数据库 MySQL
Mybatis入门之在基于Springboot的框架下拿到MySQL中数据
Mybatis入门之在基于Springboot的框架下拿到MySQL中数据
10 4
|
5天前
|
SQL 缓存 关系型数据库
|
1天前
|
关系型数据库 MySQL 数据库
MySQL数据库开发之多表查询数据准备及案例实操
MySQL数据库开发之多表查询数据准备及案例实操
10 1
|
4天前
|
存储 关系型数据库 MySQL
关系型数据库mysql日志和临时文件
【6月更文挑战第15天】
25 4
|
4天前
|
存储 关系型数据库 MySQL
关系型数据库mysql数据文件存储
【6月更文挑战第15天】
15 4
|
5天前
|
canal 关系型数据库 MySQL
蓝易云 - 详解canal同步MySQL增量数据到ES
以上就是使用Canal同步MySQL增量数据到Elasticsearch的基本步骤。在实际操作中,可能还需要根据具体的业务需求和环境进行一些额外的配置和优化。
23 2
|
5天前
|
存储 关系型数据库 MySQL
关系型数据库mysql文件系统兼容性
【6月更文挑战第14天】
34 3