MySQL 备份:从mysqldump全备中 匹配出某几个表

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: MySQL 备份:从mysqldump全备中 匹配出某几个表

作用:

通过 perl 脚本匹配出 mysqldump全备文件中的某个库的某几个表。

经测试perl是shell的N倍

208G的文件需要47分钟

vim test.pl
#!/usr/bin/perl
use strict;
use warnings;
# mysqldump 文件路径
my $dump_file = "/tmp/test.sql";
# 输出文件路径
my $output_file = "/tmp/filter.sql";
# 需要获取的库
my $database = 'database';
# 需要获取的表 多个表用逗号分隔
my $tables = "t1,t2,t3,t4,t5";
##############################################################################################################
my $database_switch = 0;
my $table_switch    = 0;
# 保存旧的IFS值
my $OLD_IFS = $,;
# 将IFS设置为逗号
$, = ',';
# 将逗号分隔的字符串拆分成数组
my @table_array = split(/,/, $tables);
# 恢复IFS为旧值
$, = $OLD_IFS;
# 对表格数组进行排序
@table_array = sort @table_array;
if (-e $output_file) {
    die "输出文件 $output_file 已存在,请确认文件内容后删除文件并重新执行脚本\n";
}
open my $out_fh, '>', $output_file or die "无法打开输出文件 $output_file: $!\n";
open my $dump_fh, '<', $dump_file or die "无法打开输入文件 $dump_file: $!\n";
# 读取文件的前18行
for (my $i = 0; $i < 18; $i++) {
    my $line = <$dump_fh>;
    last unless defined $line;
    print $out_fh $line;
}
# 使用while循环读取文件的每一行
while (my $line = <$dump_fh>) {
    chomp $line;
    if ($line =~ /^-- Current Database: \`$database\`$/) {
        $database_switch = 1;
    }
    elsif ($line =~ /^-- Current Database:/ && $line !~ /^-- Current Database: \`$database\`$/) {
        $database_switch = 0;
    }
    foreach my $table (@table_array) {
        if ($line =~ /^-- Table structure for table \`${table}\`$/) {
            $table_switch = 1;
            last;
        }
        elsif ($line =~ /^-- Table structure for table/ && $line !~ /^-- Table structure for table \`${table}\`$/) {
            $table_switch = 0;
        }
    }
    if ($database_switch == 1 && $table_switch == 1) {
        print $out_fh "$line\n";
    }
}
# 使用反引号获取tail命令的输出
my $result = `tail -n 11 $dump_file`;
print $out_fh $result;
close $dump_fh;
close $out_fh;
print "转储完成保存在 $output_file\n";

运行

chmod +x  test.pl
./test.pl

这个是shell 版本的

#!/bin/bash
# mysqldump 文件路径
dump_file="/tmp/test.sql"
# 输出文件路径
output_file="/tmp/filter.sql"
# 需要获取的库
database='database'
# 需要获取的表 多个表用逗号分隔
tables="t1,t2,t3,t4,t5"
database_switch=0
table_switch=0
# 保存旧的IFS值
OLD_IFS=$IFS
# 将IFS设置为逗号
IFS=','
# 将逗号分隔的字符串拆分成数组
table_array=($tables)
# 恢复IFS为旧值
IFS=$OLD_IFS
# 对表格数组进行排序
table_array=($(printf '%s\n' "${table_array[@]}" | sort))
if [[ -e "${output_file}" ]]; then
    echo "输出文件 ${output_file} 已存在,请确认文件内容后删除文件并重新执行脚本"
    exit 1
fi
head  -n 18 ${dump_file}  >${output_file}
# 使用while循环读取文件的每一行
while IFS= read -r line; do
    if [[ "${line}" == "-- Current Database: \`$database\`" ]]; then
        database_switch=1
    elif [[ "${line}" == "-- Current Database:"* && "${line}" != "-- Current Database: \`$database\`" ]]; then
        database_switch=0
    fi
    for table in "${table_array[@]}"; do
        if [[ "${line}" == "-- Table structure for table \`${table}\`" ]]; then
            table_switch=1
            break
        elif [[ "${line}" == "-- Table structure for table"* && "${line}" != "-- Table structure for table \`${table}\`" ]]; then
            table_switch=0
        fi
    done
    if [[ ${database_switch} -eq 1 && ${table_switch} -eq 1 ]]; then  
        #echo "${line} (Table: ${table})"
        echo "${line}" >> "${output_file}"
    fi
done < "$dump_file"
tail -n 11 ${dump_file}  >>${output_file}
echo "转储完成保存在 ${output_file}"


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
29天前
|
存储 关系型数据库 MySQL
mysql数据库备份与恢复
MySQL数据库的备份与恢复是确保数据安全性和业务连续性的关键操作。
54 4
|
15天前
|
安全 关系型数据库 MySQL
MySQL用户备份
【10月更文挑战第2天】MySQL用户备份
32 3
|
15天前
|
存储 关系型数据库 MySQL
MySQL如何备份?
【10月更文挑战第2天】MySQL如何备份?
26 3
|
2月前
|
SQL 关系型数据库 MySQL
在Linux中,如何备份和恢复MySQL数据库?
在Linux中,如何备份和恢复MySQL数据库?
|
2月前
|
SQL 数据可视化 关系型数据库
MySQL 备份可视化巡检系统
MySQL 备份可视化巡检系统
|
2月前
|
SQL 存储 关系型数据库
MySQL备份:mydumper 备份恢复工具生产实战
MySQL备份:mydumper 备份恢复工具生产实战
|
2月前
|
存储 关系型数据库 MySQL
MySQL备份与恢复
MySQL备份与恢复
51 0
|
2月前
|
关系型数据库 MySQL Shell
分享一篇mysql数据库备份脚本
分享一篇mysql数据库备份脚本
28 0
|
2月前
|
关系型数据库 MySQL
MySQL——增量备份和全量备份
MySQL——增量备份和全量备份
55 0
|
9天前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
43 6