MySQL 备份:从mysqldump全备中 匹配出某几个表

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL 备份:从mysqldump全备中 匹配出某几个表

作用:

通过 perl 脚本匹配出 mysqldump全备文件中的某个库的某几个表。

经测试perl是shell的N倍

208G的文件需要47分钟

vim test.pl
#!/usr/bin/perl
use strict;
use warnings;
# mysqldump 文件路径
my $dump_file = "/tmp/test.sql";
# 输出文件路径
my $output_file = "/tmp/filter.sql";
# 需要获取的库
my $database = 'database';
# 需要获取的表 多个表用逗号分隔
my $tables = "t1,t2,t3,t4,t5";
##############################################################################################################
my $database_switch = 0;
my $table_switch    = 0;
# 保存旧的IFS值
my $OLD_IFS = $,;
# 将IFS设置为逗号
$, = ',';
# 将逗号分隔的字符串拆分成数组
my @table_array = split(/,/, $tables);
# 恢复IFS为旧值
$, = $OLD_IFS;
# 对表格数组进行排序
@table_array = sort @table_array;
if (-e $output_file) {
    die "输出文件 $output_file 已存在,请确认文件内容后删除文件并重新执行脚本\n";
}
open my $out_fh, '>', $output_file or die "无法打开输出文件 $output_file: $!\n";
open my $dump_fh, '<', $dump_file or die "无法打开输入文件 $dump_file: $!\n";
# 读取文件的前18行
for (my $i = 0; $i < 18; $i++) {
    my $line = <$dump_fh>;
    last unless defined $line;
    print $out_fh $line;
}
# 使用while循环读取文件的每一行
while (my $line = <$dump_fh>) {
    chomp $line;
    if ($line =~ /^-- Current Database: \`$database\`$/) {
        $database_switch = 1;
    }
    elsif ($line =~ /^-- Current Database:/ && $line !~ /^-- Current Database: \`$database\`$/) {
        $database_switch = 0;
    }
    foreach my $table (@table_array) {
        if ($line =~ /^-- Table structure for table \`${table}\`$/) {
            $table_switch = 1;
            last;
        }
        elsif ($line =~ /^-- Table structure for table/ && $line !~ /^-- Table structure for table \`${table}\`$/) {
            $table_switch = 0;
        }
    }
    if ($database_switch == 1 && $table_switch == 1) {
        print $out_fh "$line\n";
    }
}
# 使用反引号获取tail命令的输出
my $result = `tail -n 11 $dump_file`;
print $out_fh $result;
close $dump_fh;
close $out_fh;
print "转储完成保存在 $output_file\n";

运行

chmod +x  test.pl
./test.pl

这个是shell 版本的

#!/bin/bash
# mysqldump 文件路径
dump_file="/tmp/test.sql"
# 输出文件路径
output_file="/tmp/filter.sql"
# 需要获取的库
database='database'
# 需要获取的表 多个表用逗号分隔
tables="t1,t2,t3,t4,t5"
database_switch=0
table_switch=0
# 保存旧的IFS值
OLD_IFS=$IFS
# 将IFS设置为逗号
IFS=','
# 将逗号分隔的字符串拆分成数组
table_array=($tables)
# 恢复IFS为旧值
IFS=$OLD_IFS
# 对表格数组进行排序
table_array=($(printf '%s\n' "${table_array[@]}" | sort))
if [[ -e "${output_file}" ]]; then
    echo "输出文件 ${output_file} 已存在,请确认文件内容后删除文件并重新执行脚本"
    exit 1
fi
head  -n 18 ${dump_file}  >${output_file}
# 使用while循环读取文件的每一行
while IFS= read -r line; do
    if [[ "${line}" == "-- Current Database: \`$database\`" ]]; then
        database_switch=1
    elif [[ "${line}" == "-- Current Database:"* && "${line}" != "-- Current Database: \`$database\`" ]]; then
        database_switch=0
    fi
    for table in "${table_array[@]}"; do
        if [[ "${line}" == "-- Table structure for table \`${table}\`" ]]; then
            table_switch=1
            break
        elif [[ "${line}" == "-- Table structure for table"* && "${line}" != "-- Table structure for table \`${table}\`" ]]; then
            table_switch=0
        fi
    done
    if [[ ${database_switch} -eq 1 && ${table_switch} -eq 1 ]]; then  
        #echo "${line} (Table: ${table})"
        echo "${line}" >> "${output_file}"
    fi
done < "$dump_file"
tail -n 11 ${dump_file}  >>${output_file}
echo "转储完成保存在 ${output_file}"


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
4月前
|
人工智能 运维 关系型数据库
数据库运维:mysql 数据库迁移方法-mysqldump
本文介绍了MySQL数据库迁移的方法与技巧,重点探讨了数据量大小对迁移方式的影响。对于10GB以下的小型数据库,推荐使用mysqldump进行逻辑导出和source导入;10GB以上可考虑mydumper与myloader工具;100GB以上则建议物理迁移。文中还提供了统计数据库及表空间大小的SQL语句,并讲解了如何使用mysqldump导出存储过程、函数和数据结构。通过结合实际应用场景选择合适的工具与方法,可实现高效的数据迁移。
728 1
|
2月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
173 10
|
4月前
|
存储 关系型数据库 MySQL
【赵渝强老师】使用select...into outfile语句备份MySQL
本文介绍了MySQL中使用`SELECT...INTO OUTFILE`语句将表数据导出为文本文件的方法。通过示例演示了如何备份员工表(emp)的数据,包括创建存储目录、设置权限、配置参数`secure_file_priv`以及解决相关错误的过程。字段分隔符和行终止符可自定义,确保数据格式符合需求。最后展示了备份文件的内容,验证操作成功。
288 36
|
7月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
4月前
|
存储 SQL 关系型数据库
【赵渝强老师】使用mysqldump备份MySQL
本文介绍了 MySQL 自带的逻辑备份工具 mysqldump 的使用方法。通过 mysqldump,可以将数据库中的数据转换为对应的 SQL 插入语句,便于备份和还原。文章详细说明了如何备份所有数据库、指定数据库及特定表,排除某些表不备份的操作,以及删除数据库后如何通过备份文件恢复数据。同时提供了视频讲解和具体命令示例,帮助用户更好地理解和应用该工具。
183 5
|
4月前
|
存储 SQL 关系型数据库
【赵渝强老师】使用mydumper备份MySQL
本文介绍了使用mydumper工具进行MySQL数据库备份与恢复的操作方法。相比单线程工作的mysqldump,mydumper支持多线程,速度提升可达10倍。其功能包括事务性表快照、快速压缩、导出binlog等,并提供详细的参数说明和操作步骤。文章通过实例演示了安装mydumper、创建存储目录、全库备份、指定数据库及表备份、删除数据库以及使用myloader恢复数据的完整流程,并附带视频讲解,帮助用户更好地理解和应用该工具。
121 0
|
6月前
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
285 28
|
6月前
|
存储 关系型数据库 MySQL
利用Cron表达式实现MySQL数据库的定时备份
以上就是如何使用Cron表达式和mysqldump命令实现MySQL数据库的定时备份。这种方法的优点是简单易用,而且可以根据需要定制备份的时间和频率。但是,它也有一些限制,例如,它不能备份MySQL服务器的配置文件和用户账户信息,也不能实现增量备份。如果需要更复杂的备份策略,可能需要使用专门的备份工具或服务。
138 15
|
11月前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
632 3
|
11月前
|
监控 关系型数据库 MySQL
Linux环境下MySQL数据库自动定时备份策略
在Linux环境下,MySQL数据库的自动定时备份是确保数据安全和可靠性的重要措施。通过设置定时任务,我们可以每天自动执行数据库备份,从而减少人为错误和提高数据恢复的效率。本文将详细介绍如何在Linux下实现MySQL数据库的自动定时备份。
317 3

推荐镜像

更多