数据备份其重要性无需多言,再细想一步,我们至少需要两种备份:一种逻辑备份(mysqldump生成sql文件);一种物理备份(xtrabackup可很好完成)。逻辑备份在出问题时能提供更细粒度的恢复和对比;物理备份在整库范围的数据恢复或者增加从库方面有着更高的效率。
首先看下逻辑备份脚本,比较简单
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
|
#!/bin/sh
###每天运行一次
###定义用户 密码 备份目录等信息
user=mysqldump
psd=mysqldump
backup_base=
/data/mysql_backup
date
=`
date
+%Y%m%d`
old_date=`
date
+%Y%m%d -d -30days`
###保存的天数
###获取库名,排除不需要备份的库
for
db
in
`mysql -u$user -p$psd -s -N -e
"show databases"
|
grep
-
v
-E
"(test|percona|information_schema|performance_schema)"
`
do
###创建备份目录
if
[ ! -d $backup_base/$db ];
then
mkdir
$backup_base/$db
fi
cd
$backup_base/$db
chattr -i ./*
rm
-f $old_date.sql* &>
/dev/null
#删除30天以前的
mysqldump -u$user -p$psd --events --routines $db |
gzip
> $
date
.sql.gz
###备份&压缩
chattr +i ./*
###这里加了个防误删的属性
done
|
接下来看基于xtrabackup的物理(整库)备份脚本。相比上面的脚本,这个就有意思点儿了(在生成备份的时候遵循了一个规则,然后在恢复脚本里加逻辑判断实现任意时候都能一键恢复)
整套功能需要 三个脚本 innobackupex_all.sh、innobackupex_increment.sh、innobackupex_restore.sh
我们知道xtrabackup可以第一次备份全量数据,之后设置增量备份。Linux crontab以数字0-6表示"周日"-"周六"。所以,我以一周为周期:周日进行全备,存放于0目录;周一至周六增备,存放于1-6目录;下次周日清空目录重新全备。
上面以0-6这样的目录名存放备份数据,是为了让恢复脚本innobackupex_restore.sh处理起来更方便。无论在周几执行恢复脚本,都能正确的执行xtrabackup的恢复过程。
依percona官方文档。xtrabackup备份至少需要以下权限:GRANT RELOAD, SUPER, LOCK TABLES, REPLICATION CLIENT, CREATE TABLESPACE ON *.* TO 'xtrabackup'@'localhost' identified by xxxx
计划任务设置如下
全备脚本 innobackupex_all.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
|
#!/bin/sh
###每周日凌晨4点,执行全量备份
base_dir=
/ljk/data
rm
-rf $base_dir/* 2>> $base_dir
/all
.log
###清空base_dir,执行全备
###备份并将日志记录于base_dir下的all.log
/usr/bin/innobackupex
--user=xtrabackup --password=xtrabackup $base_dir 2>> $base_dir
/all
.log
cd
$base_dir
#将以'当前时间命名的全备目录'重命名为'0'
mv
20* 0 2>> $base_dir
/all
.log
|
增备脚本innobackupex_increment.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
#!/bin/sh
###周1--周6凌晨4点 增量备份
base_dir=
/ljk/data
today=`
date
+%u`
yesterday=`
expr
$today - 1`
echo
-e
"\n===================================\n"
>> $base_dir
/increment
.log
###增备日志记录于$base_dir/increment.log
/usr/bin/innobackupex
--user=xtrabackup --password=xtrabackup --incremental $base_dir --incremental-basedir=$base_dir/$yesterday 2>> $base_dir
/increment
.log
cd
$base_dir
#重命名备份文件,以0 1 2 3 4 5 6 代表周日到 周六
mv
20* $today 2>> $base_dir
/increment
.log
|
恢复脚本innobackupex_restore.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
|
#!/bin/sh
###检查上次命令执行是否成功的函数
function
check {
if
[ $? -
ne
0 ];
then
echo
-e
"\e[1;31m\n $1 exec failed,please check it !\e[0m \n"
echo
"$1 failed,please check it !"
sleep
1
exit
-1
fi
}
base_dir=
/ljk/data
backup_dir=`
ls
-l $base_dir|
grep
-e
"^d.*"
|
awk
'{print $NF}'
`
echo
-e
"the backup dir is: $backup_dir \n"
sleep
1
###开始恢复
cd
$base_dir
echo
-e
"------ 准备阶段 0 ------\n"
sleep
1
/usr/bin/innobackupex
--apply-log --redo-only $base_dir
/0
check
"准备阶段 0"
;
###执行除去 0 和 最后一个目录 之外的其他目录的恢复准备
dir_num=`
ls
-l $base_dir|
grep
-e
"^d.*"
|
wc
-l`
#取出有几个备份目录
for
i
in
`
seq
1 $(($dir_num - 2))`
do
echo
-e
"------ 准备阶段 $i ------ \n"
sleep
1
/usr/bin/innobackupex
--apply-log --redo-only $base_dir
/0
--incremental-
dir
=$base_dir/$i
check
"准备阶段 $i"
;
done
###最后一个增量备份
echo
-e
"------ 准备阶段 $(($dir_num - 1)) ------ \n"
sleep
1
/usr/bin/innobackupex
--apply-log $base_dir
/0
--incremental-
dir
=$base_dir/$(($dir_num - 1))
check
"准备阶段 $(($dir_num - 1))"
;
###以上步骤将所有增量备份中记录的变化应用到了最初的全量备份中
echo
-e
"------ 应用所有变化到$base_dir/0 ------\n"
/usr/bin/innobackupex
--apply-log $base_dir
/0
check
"应用所有变化到$base_dir/0"
;
###将数据考回数据目录
echo
-e
"------ 将处理好的数据考回至数据目录 ------\n"
/usr/bin/innobackupex
--copy-back $base_dir
/0
check
"copy-back"
;
|
物理备份目录结构截图
本文转自kai404 51CTO博客,原文链接:http://blog.51cto.com/kaifly/1704105,如需转载请自行联系原作者