两套mysql备份脚本

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

    数据备份其重要性无需多言,再细想一步,我们至少需要两种备份:一种逻辑备份(mysqldump生成sql文件);一种物理备份(xtrabackup可很好完成)。逻辑备份在出问题时能提供更细粒度的恢复和对比;物理备份在整库范围的数据恢复或者增加从库方面有着更高的效率。


首先看下逻辑备份脚本,比较简单

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/bin/sh
###每天运行一次
 
###定义用户 密码 备份目录等信息
user=mysqldump
psd=mysqldump
backup_base= /data/mysql_backup
date =` date  +%Y%m%d`
old_date=` date  +%Y%m%d -d -30days`     ###保存的天数
 
###获取库名,排除不需要备份的库
for  db  in  `mysql -u$user -p$psd -s -N -e  "show databases" | grep  - v  -E  "(test|percona|information_schema|performance_schema)" `
do
   ###创建备份目录
   if  [ ! -d $backup_base/$db ]; then
     mkdir  $backup_base/$db
   fi
  
   cd  $backup_base/$db
 
   chattr -i ./*    
 
   rm  -f $old_date.sql* &> /dev/null      #删除30天以前的
 
   mysqldump -u$user -p$psd --events --routines  $db | gzip  > $ date .sql.gz     ###备份&压缩
 
   chattr +i ./*     ###这里加了个防误删的属性
done


接下来看基于xtrabackup的物理(整库)备份脚本。相比上面的脚本,这个就有意思点儿了(在生成备份的时候遵循了一个规则,然后在恢复脚本里加逻辑判断实现任意时候都能一键恢复)

    整套功能需要 三个脚本 innobackupex_all.sh、innobackupex_increment.sh、innobackupex_restore.sh

    我们知道xtrabackup可以第一次备份全量数据,之后设置增量备份。Linux crontab以数字0-6表示"周日"-"周六"。所以,我以一周为周期:周日进行全备,存放于0目录;周一至周六增备,存放于1-6目录;下次周日清空目录重新全备。

    上面以0-6这样的目录名存放备份数据,是为了让恢复脚本innobackupex_restore.sh处理起来更方便。无论在周几执行恢复脚本,都能正确的执行xtrabackup的恢复过程

    依percona官方文档。xtrabackup备份至少需要以下权限:GRANT RELOAD, SUPER, LOCK TABLES, REPLICATION CLIENT, CREATE TABLESPACE ON *.* TO 'xtrabackup'@'localhost' identified by xxxx


计划任务设置如下

wKiom1YjllLjfwWHAABUb2Zxa3Q422.jpg


全备脚本 innobackupex_all.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
#!/bin/sh
###每周日凌晨4点,执行全量备份
 
base_dir= /ljk/data
 
rm  -rf $base_dir/* 2>> $base_dir /all .log     ###清空base_dir,执行全备
 
###备份并将日志记录于base_dir下的all.log
/usr/bin/innobackupex  --user=xtrabackup --password=xtrabackup $base_dir 2>> $base_dir /all .log
 
cd  $base_dir
#将以'当前时间命名的全备目录'重命名为'0'
mv  20* 0 2>> $base_dir /all .log


增备脚本innobackupex_increment.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/bin/sh
###周1--周6凌晨4点 增量备份
 
base_dir= /ljk/data
 
today=` date  +%u`
yesterday=` expr  $today - 1`
 
echo  -e  "\n===================================\n"  >> $base_dir /increment .log     ###增备日志记录于$base_dir/increment.log
/usr/bin/innobackupex  --user=xtrabackup --password=xtrabackup --incremental $base_dir --incremental-basedir=$base_dir/$yesterday 2>> $base_dir /increment .log
 
cd  $base_dir
#重命名备份文件,以0 1 2 3 4 5 6 代表周日到 周六
mv  20* $today 2>> $base_dir /increment .log


恢复脚本innobackupex_restore.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
#!/bin/sh
 
###检查上次命令执行是否成功的函数
function  check {
    if  [ $? - ne  0 ]; then
         echo  -e  "\e[1;31m\n $1 exec failed,please check it !\e[0m \n"
         echo  "$1 failed,please check it !"
         sleep  1
         exit  -1
    fi
}
 
base_dir= /ljk/data
 
backup_dir=` ls  -l $base_dir| grep  -e  "^d.*" | awk  '{print $NF}' `
echo  -e  "the backup dir is: $backup_dir \n"
sleep  1
 
###开始恢复
 
cd  $base_dir
 
echo  -e  "------ 准备阶段 0 ------\n"
sleep  1
/usr/bin/innobackupex  --apply-log --redo-only $base_dir /0
check  "准备阶段 0" ;
 
###执行除去 0 和 最后一个目录 之外的其他目录的恢复准备
dir_num=` ls  -l $base_dir| grep  -e  "^d.*" | wc  -l`       #取出有几个备份目录
 
for  in  ` seq  1 $(($dir_num - 2))`
   do
     echo  -e  "------ 准备阶段 $i ------ \n"
     sleep  1
     /usr/bin/innobackupex  --apply-log --redo-only $base_dir /0  --incremental- dir =$base_dir/$i
     check  "准备阶段 $i" ;
done
 
###最后一个增量备份
echo  -e  "------ 准备阶段 $(($dir_num - 1)) ------ \n"
sleep  1
/usr/bin/innobackupex  --apply-log $base_dir /0  --incremental- dir =$base_dir/$(($dir_num - 1))
check  "准备阶段 $(($dir_num - 1))" ;
 
###以上步骤将所有增量备份中记录的变化应用到了最初的全量备份中
echo  -e  "------ 应用所有变化到$base_dir/0 ------\n"
/usr/bin/innobackupex  --apply-log $base_dir /0
check  "应用所有变化到$base_dir/0"
 
###将数据考回数据目录
echo  -e  "------ 将处理好的数据考回至数据目录 ------\n"
/usr/bin/innobackupex  --copy-back $base_dir /0
check  "copy-back" ;


物理备份目录结构截图

wKioL1Yl0YuS9eaIAADKyyzqV00547.jpg






     本文转自kai404 51CTO博客,原文链接:http://blog.51cto.com/kaifly/1704105,如需转载请自行联系原作者


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
关系型数据库 MySQL 数据库
rds备份与恢复
rds备份与恢复
57 3
|
2月前
|
SQL 关系型数据库 MySQL
mysql怎么备份
mysql怎么备份
193 7
|
15天前
|
SQL 存储 关系型数据库
mysql数据库备份与恢复
mysql数据库备份与恢复
|
1月前
|
关系型数据库 MySQL
一键下载MySQL安装包-batch脚本
一键下载MySQL安装包-batch脚本
33 2
|
2月前
|
关系型数据库 MySQL Linux
Linux环境下定时备份mysql数据库
Linux环境下定时备份mysql数据库
|
2月前
|
存储 关系型数据库 MySQL
mysql怎么备份
mysql怎么备份
21 7
|
2月前
|
监控 容灾 安全
规划阿里云RDS跨区迁移并构建容灾与备份策略
规划阿里云RDS(Relational Database Service)跨区迁移并构建容灾与备份策略
111 2
|
2月前
|
SQL 关系型数据库 MySQL
MySQL技能完整学习列表11、日志和备份——1、查看日志——2、数据备份和恢复(mysqldump, mysqlbinlog)
MySQL技能完整学习列表11、日志和备份——1、查看日志——2、数据备份和恢复(mysqldump, mysqlbinlog)
45 0
|
2月前
|
SQL 关系型数据库 MySQL
centos实现mysql定时备份(单机)
centos实现mysql定时备份(单机)
74 0
|
2月前
|
关系型数据库 API 数据库
rds备份与恢复
rds备份与恢复
83 4