MySQL 备份:从mysqldump全备中 匹配出某几个表

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL 备份:从mysqldump全备中 匹配出某几个表

作用:

通过 perl 脚本匹配出 mysqldump全备文件中的某个库的某几个表。

经测试perl是shell的N倍

208G的文件需要47分钟

vim test.pl
#!/usr/bin/perl
use strict;
use warnings;
# mysqldump 文件路径
my $dump_file = "/tmp/test.sql";
# 输出文件路径
my $output_file = "/tmp/filter.sql";
# 需要获取的库
my $database = 'database';
# 需要获取的表 多个表用逗号分隔
my $tables = "t1,t2,t3,t4,t5";
##############################################################################################################
my $database_switch = 0;
my $table_switch    = 0;
# 保存旧的IFS值
my $OLD_IFS = $,;
# 将IFS设置为逗号
$, = ',';
# 将逗号分隔的字符串拆分成数组
my @table_array = split(/,/, $tables);
# 恢复IFS为旧值
$, = $OLD_IFS;
# 对表格数组进行排序
@table_array = sort @table_array;
if (-e $output_file) {
    die "输出文件 $output_file 已存在,请确认文件内容后删除文件并重新执行脚本\n";
}
open my $out_fh, '>', $output_file or die "无法打开输出文件 $output_file: $!\n";
open my $dump_fh, '<', $dump_file or die "无法打开输入文件 $dump_file: $!\n";
# 读取文件的前18行
for (my $i = 0; $i < 18; $i++) {
    my $line = <$dump_fh>;
    last unless defined $line;
    print $out_fh $line;
}
# 使用while循环读取文件的每一行
while (my $line = <$dump_fh>) {
    chomp $line;
    if ($line =~ /^-- Current Database: \`$database\`$/) {
        $database_switch = 1;
    }
    elsif ($line =~ /^-- Current Database:/ && $line !~ /^-- Current Database: \`$database\`$/) {
        $database_switch = 0;
    }
    foreach my $table (@table_array) {
        if ($line =~ /^-- Table structure for table \`${table}\`$/) {
            $table_switch = 1;
            last;
        }
        elsif ($line =~ /^-- Table structure for table/ && $line !~ /^-- Table structure for table \`${table}\`$/) {
            $table_switch = 0;
        }
    }
    if ($database_switch == 1 && $table_switch == 1) {
        print $out_fh "$line\n";
    }
}
# 使用反引号获取tail命令的输出
my $result = `tail -n 11 $dump_file`;
print $out_fh $result;
close $dump_fh;
close $out_fh;
print "转储完成保存在 $output_file\n";

运行

chmod +x  test.pl
./test.pl

这个是shell 版本的

#!/bin/bash
# mysqldump 文件路径
dump_file="/tmp/test.sql"
# 输出文件路径
output_file="/tmp/filter.sql"
# 需要获取的库
database='database'
# 需要获取的表 多个表用逗号分隔
tables="t1,t2,t3,t4,t5"
database_switch=0
table_switch=0
# 保存旧的IFS值
OLD_IFS=$IFS
# 将IFS设置为逗号
IFS=','
# 将逗号分隔的字符串拆分成数组
table_array=($tables)
# 恢复IFS为旧值
IFS=$OLD_IFS
# 对表格数组进行排序
table_array=($(printf '%s\n' "${table_array[@]}" | sort))
if [[ -e "${output_file}" ]]; then
    echo "输出文件 ${output_file} 已存在,请确认文件内容后删除文件并重新执行脚本"
    exit 1
fi
head  -n 18 ${dump_file}  >${output_file}
# 使用while循环读取文件的每一行
while IFS= read -r line; do
    if [[ "${line}" == "-- Current Database: \`$database\`" ]]; then
        database_switch=1
    elif [[ "${line}" == "-- Current Database:"* && "${line}" != "-- Current Database: \`$database\`" ]]; then
        database_switch=0
    fi
    for table in "${table_array[@]}"; do
        if [[ "${line}" == "-- Table structure for table \`${table}\`" ]]; then
            table_switch=1
            break
        elif [[ "${line}" == "-- Table structure for table"* && "${line}" != "-- Table structure for table \`${table}\`" ]]; then
            table_switch=0
        fi
    done
    if [[ ${database_switch} -eq 1 && ${table_switch} -eq 1 ]]; then  
        #echo "${line} (Table: ${table})"
        echo "${line}" >> "${output_file}"
    fi
done < "$dump_file"
tail -n 11 ${dump_file}  >>${output_file}
echo "转储完成保存在 ${output_file}"


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
29
分享
相关文章
数据库运维:mysql 数据库迁移方法-mysqldump
本文介绍了MySQL数据库迁移的方法与技巧,重点探讨了数据量大小对迁移方式的影响。对于10GB以下的小型数据库,推荐使用mysqldump进行逻辑导出和source导入;10GB以上可考虑mydumper与myloader工具;100GB以上则建议物理迁移。文中还提供了统计数据库及表空间大小的SQL语句,并讲解了如何使用mysqldump导出存储过程、函数和数据结构。通过结合实际应用场景选择合适的工具与方法,可实现高效的数据迁移。
188 1
【赵渝强老师】使用select...into outfile语句备份MySQL
本文介绍了MySQL中使用`SELECT...INTO OUTFILE`语句将表数据导出为文本文件的方法。通过示例演示了如何备份员工表(emp)的数据,包括创建存储目录、设置权限、配置参数`secure_file_priv`以及解决相关错误的过程。字段分隔符和行终止符可自定义,确保数据格式符合需求。最后展示了备份文件的内容,验证操作成功。
123 36
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
【赵渝强老师】使用mysqldump备份MySQL
本文介绍了 MySQL 自带的逻辑备份工具 mysqldump 的使用方法。通过 mysqldump,可以将数据库中的数据转换为对应的 SQL 插入语句,便于备份和还原。文章详细说明了如何备份所有数据库、指定数据库及特定表,排除某些表不备份的操作,以及删除数据库后如何通过备份文件恢复数据。同时提供了视频讲解和具体命令示例,帮助用户更好地理解和应用该工具。
100 5
【赵渝强老师】使用mydumper备份MySQL
本文介绍了使用mydumper工具进行MySQL数据库备份与恢复的操作方法。相比单线程工作的mysqldump,mydumper支持多线程,速度提升可达10倍。其功能包括事务性表快照、快速压缩、导出binlog等,并提供详细的参数说明和操作步骤。文章通过实例演示了安装mydumper、创建存储目录、全库备份、指定数据库及表备份、删除数据库以及使用myloader恢复数据的完整流程,并附带视频讲解,帮助用户更好地理解和应用该工具。
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
188 28
利用Cron表达式实现MySQL数据库的定时备份
以上就是如何使用Cron表达式和mysqldump命令实现MySQL数据库的定时备份。这种方法的优点是简单易用,而且可以根据需要定制备份的时间和频率。但是,它也有一些限制,例如,它不能备份MySQL服务器的配置文件和用户账户信息,也不能实现增量备份。如果需要更复杂的备份策略,可能需要使用专门的备份工具或服务。
87 15
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
528 3
Linux环境下MySQL数据库自动定时备份策略
在Linux环境下,MySQL数据库的自动定时备份是确保数据安全和可靠性的重要措施。通过设置定时任务,我们可以每天自动执行数据库备份,从而减少人为错误和提高数据恢复的效率。本文将详细介绍如何在Linux下实现MySQL数据库的自动定时备份。
265 3
MySQL用户备份
【10月更文挑战第2天】MySQL用户备份
221 3

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问