开发者社区> jiangxl~> 正文

07-rsync企业真实项目备份案例实战(需求收集--服务器配置---客户端配置---报警机制---数据校验---邮件告警)

简介: 2.需求描述 客户端需求: 1.客户端每天凌晨1点在服务器本地打包备份(系统配置文件、日志文件、其他目录、应用配置文件) 2.客户端备份的数据必须存放至以主机名IP地址当前时间命名的目录中,例如/backup/nfs_192.168.81.210_2020-05-26,其实更好的备份方式/backup/192.168.81.210/nfs_2020-05-26,一会采用后者,要求不只是备份文件,要求连上级目录一并拷过来
+关注继续查看

rsync企业真实项目备份案例实战

1.环境准备image.png2.需求描述

客户端需求:


1.客户端每天凌晨1点在服务器本地打包备份(系统配置文件、日志文件、其他目录、应用配置文件)


2.客户端备份的数据必须存放至以主机名IP地址当前时间命名的目录中,例如/backup/nfs_192.168.81.210_2020-05-26,其实更好的备份方式/backup/192.168.81.210/nfs_2020-05-26,一会采用后者,要求不只是备份文件,要求连上级目录一并拷过来

3.客户端最后通过rsync推送本地打包好的备份文件至backup服务器


4.客户端服务器本地保留最近7天的数据,避免浪费磁盘空间


分析思路:


1.要备份的文件


系统配置文件:/etc/fstab /etc/hosts /var/spool/cron/root


日志文件:/var/log/messages /var/log/secure


服务配置文件:/etc/rsyncd.conf


2.备份目录:/backup/192.168.81.210/nfs_2020-05-26


3.获取信息


主机名:hostname


ip地址:ifconfig ens33 | awk ‘NR==2{print $2}’ 或者hostname -I | awk ‘{print $2}’


时间:date +%F


目录名:/backup/$(ifconfig ens33 | awk 'NR==2{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 2}̲')/(date +%F)


带目录一起拷贝:cp -p --parents source destion


服务端需求:


1.服务端部署rsync,用户接受客户端推送过来的备份数据


2.服务端需要每天校验客户端推送过来的数据是否完整


3.服务端需要将每天的校验结果通知给管理员


4.服务端仅保留6个月的备份数据,其余全部删除


分析思路:


校验:客户端推送时将校验文件一起推过来,然后使用md5sum -c md5file来校验,如果没有丢失数据会提示ok,要注意md5sum校验时源端数据要和目标端数据路径要保持一致


保留6个月:find 路径 -mtime 180 | xargs rm -rf

3.服务器端配置

3.1.脚本安装rsync守护进程

3.1.1.脚本编写

vim rsyncd_shjc_install.sh 
#!/bin/bash
#批量部署rsync
yum -y install rsync &>/dev/null
echo -e "\e[033m1.rsync install... \e[0m"

cat > /etc/rsyncd.conf <<EOF
uid = rsync
gid = rsync
port 873
fake super = yes
use chroot = no
transfer logging = yes          #记录日志
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync_passwd
log file = /var/log/rsync/rsync.log
[backup]
comment = backup
path = /backup
EOF
echo -e "\e[033m2.rsync config finish... \e[0m" 

id rsync &> /dev/null
if [ $? -ne 0 ];then
        useradd -M -s /sbin/nolog rsync
fi

if [ ! -e /backup ];then
    mkdir /backup
fi
chown -R rsync:rsync /backup
echo -e "\e[033m3.backup dir finish... \e[0m"

echo "rsync_backup:123456" > /etc/rsync_passwd
chmod 600 /etc/rsync_passwd
echo -e "\e[033m4.rsync auth finish... \e[0m"

systemctl restart rsyncd
systemctl enable rsyncd &>/dev/null
lsof -i:873 &>/dev/null
if [ $? -eq 0 ];then
        echo -e "\e[033m5.rsync finish.....\e[0m"
fi

3.1.2.执行结果

[root@localhost ~]# ./rsyncd_shjc_install.sh 
1.rsync install... 
2.rsync config finish... 
3.backup dir finish... 
4.rsync auth finish... 
5.rsync finish.....

3.1.3.测试是否能用

[root@jxl ~]# rsync -avz rsync_backup@192.168.81.230::backup /tmp/
receiving incremental file list
./
aa1
aa10
aa2
aa3
aa4
aa5
aa6
aa7
aa8
aa9
initial-setup-ks.cfg

sent 240 bytes  received 1,696 bytes  3,872.00 bytes/sec
total size is 1,940  speedup is 1.00

4.rsync扩展

增加两个需求

1.增加一个模块

2.每个模块使用不同的登录认证

4.1.增加新的模块

[root@localhost ~]# cat >>/etc/rsyncd.conf <<EOF
> 
> [mysql_bak]
> comment = mysql back
> path /mysql_data
> EOF
[root@localhost ~]# mkdir -p /mysql_data
[root@localhost ~]# chown -R rsync:rsync /mysql_data
[root@localhost ~]# systemctl restart rsyncd

image.png

4.2.每个模块使用不同的登录名

实现思路很简单,把全局的认证参数放到局部即可

1.编辑配置文件

[root@localhost ~]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
log file = /var/log/rsync/rsync.log

[backup]
comment = backup
path = /backup
auth users = rsync_backup
secrets file = /etc/rsync_passwd

[mysql_bak]
comment = mysql back
path = /mysql_data
auth users = rsync_mysqlbak
secrets file = /etc/rsync_mysqlbak_passwd

2.创建认证文件

bakcup模块
[root@localhost ~]# echo "rsync_backup:123456" > /etc/rsync_passwd

mysql_bak模块
[root@localhost ~]# echo "rsync_mysqlbak:123456" > /etc/rsync_mysqlbak_passwd

设置权限
[root@localhost ~]# chmod 600 /etc/rsync*_passwd
[root@localhost ~]# systemctl restart rsyncd

3.验证

bakcup模块
[root@jxl ~]# rsync -avz rsync_backup@192.168.81.230::backup /tmp/
receiving incremental file list
./

sent 27 bytes  received 245 bytes  181.33 bytes/sec
total size is 1,940  speedup is 7.13



mysql_bak模块
[root@jxl ~]# rsync -avz rsync_mysqlbak@192.168.81.230::mysql_bak /tmp/
receiving incremental file list
./
mysql01.sql
mysql02.sql
mysql03.sql
mysql04.sql
mysql05.sql
mysql06.sql
mysql07.sql
mysql08.sql
mysql09.sql
mysql10.sql

sent 221 bytes  received 604 bytes  550.00 bytes/sec
total size is 0  speedup is 0.00

5.客户端配置

初步配置,仅在本地生成目录

5.1.安装rsync包

[root@jxl ~]# yum -y install rsync

5.2.定义密码文件或者变量

如果密码相同强烈建议使用变量,密码不相同一定要用密码文件

--password-file=
export RSYNC_PASSWORD=

5.3.编写脚本,将需要备份的文件拷贝至备份目录

#!/bin/bash
#定义环境变量
export Host=$(hostname)
export IP=$(ifconfig ens33 | awk 'NR==2{print $2}')
export Day=$(date +%F)
export Backup_dir=/backup
export Dest_local_dir=${Backup_dir}/${IP}/${Host}_${Day}
export Dest_rsync_dir=${Backup_dir}/${IP}
export Rsync_ip=192.168.81.230
export Rsync_user=rsync_backup
export Rsync_module=backup
export RSYNC_PASSWORD=123456
#创建备份目录
if [ ! -e $Dest_local_dir ];then
        mkdir -p $Dest_local_dir
fi

#收集需要备份的文件
#sysconf backup
cp -p --parents /etc/fstab /etc/hosts /var/spool/cron/root $Dest_local_dir
#logs backup
cp -p --parents /var/log/messages /var/log/secure $Dest_local_dir
#serverconf backup
cp -p --parents /etc/rsyncd.conf $Dest_local_dir


#推送数据
rsync -avz $Dest_rsync_dir $Rsync_user@$Rsync_ip::$Rsync_module

#只保留七天内的文件
find $Dest_rsync_dir -type d -mtime +7 | xargs rm -rf

5.4.执行脚本

[root@web scripts]# sh -n rsyncd_backup.sh      
[root@web scripts]# sh -vx rsyncd_backup.sh

5.5.观察本地生成的目录

改个时间在执行一次
[root@web ~]# tree /backup/
/backup/
└── 192.168.81.220
    └── web_2020-05-28
        ├── logs.tar.gz
        ├── md5_check
        ├── serverconf.tar.gz
        └── sysconf.tar.gz

2 directories, 4 files

5.6.观察rsync服务端生成的目录

[root@backup ~]# tree /backup/
/backup/
└── 192.168.81.220
    └── web_2020-05-28
        ├── logs.tar.gz
        ├── md5_check
        ├── serverconf.tar.gz
        └── sysconf.tar.gz

2 directories, 4 files

6.客户端/服务端高级脚本配置响应需求

6.1.客户端高级配置

1.客户端每天凌晨1点在服务器本地打包备份

[root@web scripts]# crontab -l
0 1 * * * /usr/bin/bash /scripts/rsyncd_backup.sh

2.脚本内容—打包备份

#将收集的文件打包
#sysconf backup
tar cfzP $Dest_local_dir/sysconf.tar.gz /etc/fstab /etc/hosts /var/spool/cron/root
#logs backup
tar cfzP $Dest_local_dir/logs.tar.gz /var/log/messages /var/log/secure
#serverconf backup
tar cfzP $Dest_local_dir/serverconf.tar.gz /etc/rsyncd.conf

3.客户端备份的数据必须存放至以IP地址/主机名当前时间命名的目录

export Host=$(hostname)
export IP=$(ifconfig ens33 | awk 'NR==2{print $2}')
export Day=$(date +%F)
export Backup_dir=/backup
export Dest_local_dir=${Backup_dir}/${IP}/${Host}_${Day}
export Dest_rsync_dir=${Backup_dir}/${IP}

if [ ! -e $Dest_local_dir ];then
        mkdir -p $Dest_local_dir
fi

4.客户端最后通过rsync推送本地打包好的备份文件至backup服务器

export Dest_rsync_dir=${Backup_dir}/${IP}
export Rsync_ip=192.168.81.230
export Rsync_user=rsync_backup
export Rsync_module=backup
export RSYNC_PASSWORD=123456

rsync -avz $Dest_rsync_dir $Rsync_user@$Rsync_ip::$Rsync_module

5.客户端服务器本地保留最近7天的数据,避免浪费磁盘空间

#只保留七天内的文件
find $Dest_rsync_dir -type d -mtime +7 | xargs rm -rf

6.2.服务端高级配置

写死情况(不建议使用)

1.服务端需要每天校验客户端推送过来的数据是否完整并通知管理员

#检测web数据是否完整
md5sum -c ${Checkweb_dir}/${Md5sum_file}

if [ $? -ne 0 ];then
        echo -e "\e[031m${Rsync_web}数据校验不完整\e[0m" | mail -s "check ${Rsync_web} error " 15910468023@163.com
else

        echo -e "\e[032m${Rsync_web}数据校验完整\e[0m" | mail -s "check ${Rsync_web} ok " 15910468023@163.com
fi

#检测nfs数据是否完整
md5sum -c $Checknfs_dir/${Md5sum_file}

if [ $? -ne 0 ];then
        echo -e "\e[031m${Rsync_nfs}数据校验不完整\e[0m" | mail -s "check ${Rsync_nfs} error " 15910468023@163.com
else
        echo -e "\e[032m${Rsync_nfs}数据校验完整\e[0m" | mail -s "check ${Rsync_nfs} ok " 15910468023@163.com
fi

2.服务端仅保留6个月的备份数据,其余全部删除

#删除60天外的数据
find $Backup_rsyncweb_dir -type d -mtime +180 |xargs rm -rf
find $Backup_rsyncnfs_dir -type d -mtime +180 |xargs rm -rf

使用通配符(强烈建议)

[root@backup@scripts]# vim rsyncd_sjjy2.sh 
#!/bin/bash
#rsync数据校验
export Backup_dir=/backup
export Result_dir=${Backup_dir}/result
export Day=$(date +%F)
export Md5_file=md5_check
export Result_file=result_${Day}.txt
export Rsync_dir=${Backup_dir}/*/*_${Day}
export Jiaoyanfile_path=$Rsync_dir/${Md5_file}
export Resultfile_path=${Result_dir}/${Result_file}
export Rmdir_dir=${Backup_dir}/*/*

#根据校验情况发送邮件
md5sum -c $Jiaoyanfile_path
if [ $? -eq 0  ];then
        md5sum -c $Jiaoyanfile_path | tee -a  $Resultfile_path
        mail -s "rsync backup jiaoyan is ok..." 15910468023@163.com < $Resultfile_path
else
        md5sum -c $Jiaoyanfile_path | tee -a  $Resultfile_path
        mail -s "rsync backup jiaoyan is fail..." 15910468023@163.com < $Resultfile_path
fi


#删除6个月之前的文件
find ${Rmdir_dir}/ -type d -mtime +180 | xargs rm -rf
find ${Result_dir}/ -type f -mtime +180 | xargs rm -rf

7.整个脚本内容

客户端

[root@web scripts]# vim rsyncd_backup.sh 
#!/bin/bash
#定义环境变量
export Host=$(hostname)
export IP=$(ifconfig ens33 | awk 'NR==2{print $2}')
export Day=$(date +%F)
export Backup_dir=/backup
export Dest_local_dir=${Backup_dir}/${IP}/${Host}_${Day}
export Dest_rsync_dir=${Backup_dir}/${IP}
export Rsync_ip=192.168.81.230
export Rsync_user=rsync_backup
export Rsync_module=backup
export RSYNC_PASSWORD=123456
#创建备份目录
if [ ! -e $Dest_local_dir ];then
        mkdir -p $Dest_local_dir
fi

#收集需要备份的文件
#sysconf backup
#cp -p --parents /etc/fstab /etc/hosts /var/spool/cron/root $Dest_local_dir
#logs backup
#cp -p --parents /var/log/messages /var/log/secure $Dest_local_dir
#serverconf backup
#cp -p --parents /etc/rsyncd.conf $Dest_local_dir

#将收集的文件打包
#sysconf backup
tar cfzP $Dest_local_dir/sysconf.tar.gz /etc/fstab /etc/hosts /var/spool/cron/root
#logs backup
tar cfzP $Dest_local_dir/logs.tar.gz /var/log/messages /var/log/secure
#serverconf backup
tar cfzP $Dest_local_dir/serverconf.tar.gz /etc/rsyncd.conf
#md5校验
md5sum $Dest_local_dir/* > $Dest_local_dir/md5_check

#推送数据
rsync -avz $Dest_rsync_dir $Rsync_user@$Rsync_ip::$Rsync_module

#只保留七天内的文件
find $Dest_rsync_dir -type d -mtime +7 | xargs rm -rf

#Host变量是主机名       IP变量是当前主机的ip地址        Day变量是当前服务器的日期       Backup_dir变量表示本地的备份目录
#Dest_local_dir变量表示存放在备份目录的那个子目录----父目录/IP目录/日期目录
#Dest_rsync_dir变量表示将本地那个目录同步到rsync服务端
#Rsync_ip变量表示远程rsync服务器的ip地址        #Rsync_user变量表示rsync的管理用户      #Rsync_ip变量表示rsync服务器的ip地址
#Rsync_module变量表示rsync的模块名      #RSYNC_PASSWORD变量表示rsync的密码

服务端

[root@backup@scripts]# vim rsyncd_sjjy2.sh 
#!/bin/bash
#rsync数据校验
export Backup_dir=/backup
export Result_dir=${Backup_dir}/result
export Day=$(date +%F)
export Md5_file=md5_check
export Result_file=result_${Day}.txt
export Rsync_dir=${Backup_dir}/*/*_${Day}
export Jiaoyanfile_path=$Rsync_dir/${Md5_file}
export Resultfile_path=${Result_dir}/${Result_file}
export Rmdir_dir=${Backup_dir}/*/*

#根据校验情况发送邮件
md5sum -c $Jiaoyanfile_path
if [ $? -eq 0  ];then
        md5sum -c $Jiaoyanfile_path | tee -a  $Resultfile_path
        mail -s "rsync backup jiaoyan is ok..." 15910468023@163.com < $Resultfile_path
else
        md5sum -c $Jiaoyanfile_path | tee -a  $Resultfile_path
        mail -s "rsync backup jiaoyan is fail..." 15910468023@163.com < $Resultfile_path
fi


#删除6个月之前的文件
find ${Rmdir_dir}/ -type d -mtime +180 | xargs rm -rf
find ${Result_dir}/ -type f -mtime +180 | xargs rm -rf

#Backup_dir表示备份目录         Result_dir表示校验结果存放目录          Day表示当前日期
#Md5_file表示md5校验文件名      Result_file表示校验结果文件名           Rsync_dir表示每日rsync增量的目录路径
#Jiaoyanfile_path表示校验文件所在路径   Resultfile_path表示校验结果文件所在路径         Rmdir表示要删哪些目录

8.测试脚本可用

for命令造数据

[root@web scripts]# for i in {1..28};do date -s 2020/01/$i && sh rsyncd_backup.sh ; done

服务端就有了image.png执行服务端脚本验证保留180天

客户端疯狂造数据,180天前的多造一些,180天内的也造一些
for i in {1..28};do date -s 2019/10/$i && sh rsyncd_backup.sh ; done
for i in {1..28};do date -s 2019/11/$i && sh rsyncd_backup.sh ; done
for i in {1..28};do date -s 2019/12/$i && sh rsyncd_backup.sh ; done
for i in {1..28};do date -s 2020/01/$i && sh rsyncd_backup.sh ; done
for i in {1..28};do date -s 2020/02/$i && sh rsyncd_backup.sh ; done
for i in {1..28};do date -s 2020/03/$i && sh rsyncd_backup.sh ; done
for i in {1..28};do date -s 2020/05/$i && sh rsyncd_backup.sh ; done
for i in {1..28};do date -s 2020/06/$i && sh rsyncd_backup.sh ; done

服务端执行脚本
[root@backup scripts]# sh rsyncd_sjjy.sh 

验证后只有60天内的数据image.png

9.rsync使用163发送邮件提醒管理员

9.1.服务端配置

安装mailx
[root@backup@scripts]# yum -y install mailx

在配置文件最后加入
[root@backup@scripts]# vim /etc/mail.rc 
set from=15910468023@163.com                //邮箱地址
set smtp=smtps://smtp.163.com                   //邮箱smtp地址
set smtp-auth-user=15910468023@163.com      //邮箱地址
set smtp-auth-password=CPDBDXEGKVXJZHMB         //smtp生成的校验码
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

9.2.编写rsync校验脚本

[root@backup@scripts]# vim rsyncd_sjjy2.sh 
#!/bin/bash
#rsync数据校验
export Backup_dir=/backup
export Result_dir=${Backup_dir}/result
export Day=$(date +%F)
export Md5_file=md5_check
export Result_file=result_${Day}.txt
export Rsync_dir=${Backup_dir}/*/*_${Day}
export Jiaoyanfile_path=$Rsync_dir/${Md5_file}
export Resultfile_path=${Result_dir}/${Result_file}
export Rmdir_dir=${Backup_dir}/*/*

#根据校验情况发送邮件
md5sum -c $Jiaoyanfile_path
if [ $? -eq 0  ];then
        md5sum -c $Jiaoyanfile_path | tee -a  $Resultfile_path
        mail -s "rsync backup jiaoyan is ok..." 15910468023@163.com < $Resultfile_path
else
        md5sum -c $Jiaoyanfile_path | tee -a  $Resultfile_path
        mail -s "rsync backup jiaoyan is fail..." 15910468023@163.com < $Resultfile_path
fi


#删除6个月之前的文件
find ${Rmdir_dir}/ -type d -mtime +180 | xargs rm -rf
find ${Result_dir}/ -type f -mtime +180 | xargs rm -rf

#Backup_dir表示备份目录         Result_dir表示校验结果存放目录          Day表示当前日期
#Md5_file表示md5校验文件名      Result_file表示校验结果文件名           Rsync_dir表示每日rsync增量的目录路径
#Jiaoyanfile_path表示校验文件所在路径   Resultfile_path表示校验结果文件所在路径         Rmdir表示要删哪些目录

9.3.163邮箱开启smtp并生成校验码

1.进入163邮箱点击设置—POP3/SMTPIMAP


image.png


2.选择开启


image.png


3.发送短信生成校验码

image.png


4.复制校验码到mailx的配置文件中

image.png


5.Linux端发送邮件,提示已收到

image.png

6.根据rsync校验脚本生成结果并发送到163邮箱

校验正常

image.png

校验失败

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
SpringCloud微服务实战(六)-统一配置中心
1 统一配置中心概述 为什么需要统一配置中心 2 Config Server 直接运行报错,因为会从 git拉取配置文件 在 Git 建立新仓库存放配置文件 ...
1098 0
《高性能Linux服务器构建实战》——1.4节Nginx的安装与配置
本节书摘来自华章社区《高性能Linux服务器构建实战》一书中的第1章,第1.4节Nginx的安装与配置,作者:高俊峰,更多章节内容可以访问云栖社区“华章社区”公众号查看
1807 0
《企业迁云实战》——第1章 1.0 云计算与云服务
本节书摘来自华章计算机《企业迁云实战》一书中的第1章,第1.0节,作者:何强、谭虎、何龙著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1292 0
业务实战中经典算法的应用
业务实战中经典算法的应用
80 0
如何选择阿里云服务器实例规格、内存、CPU、带宽等配置
本文介绍了新手用户在选择阿里云服务器实例规格、内存、CPU、带宽等配置时需要注意的一些事情及选择建议。
85 0
个人用户如何手动在ECS实例上部署Java web项目?
本篇文档介绍如何手动在ECS实例上部署Java web项目。适用于刚开始使用阿里云进行建站的个人用户。
1817 0
阿里云服务器1核2G/2核4G/4核8G/8核16配置ECS实例规格汇总
阿里云ECS云服务器1核2G、2核4G、2核8G、4核8G、4核16G、8核16、8核32G云服务器配置可选ECS实例规格汇总,汇总阿里云服务器各个配置可选的ECS实例规格:
94 0
+关注
jiangxl~
华为云享专家、51CTO专家博主、DevOps运维领域优质创作者、 2021年度博客之星运维与安全领域TOP1,某厂高级运维工程师擅长Linux系统运维、开源监控软件维护、Kubernetes容器技术、CI/CD持续集成、自动化运维、大规模互联网WEB集群架构、开源软件部署维护等领域。
210
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载