LinuxShell脚本之利用rsync+ssh实现Linux文件系统远程备份

简介:

功能介绍:

该脚本用于定期(结合crontab一起使用)将本地目录通过rsync+ssh传输到远程服务器,每次执行都生成一个带有以时间命名的目录,并且当前最新版本的数据链接到一个名字叫current的符号链接上,便于查找和恢复。在数据传输完成前,会传输到临时目录下,这个临时目录被命名为“时间-incomplete”。超过10天的备份将被删除,超过10天的日志文件也将被删除。

运行原理:

脚本运行的核心就在于ssh的互信和rsync命令。利用rsync能实现压缩传输,节省传输时间。

感谢:

感谢gregrs-uk提供的初始脚本

脚本内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
#!/usr/bin/env bash
# Function description:
# Backup filesystem using rsync
 
# Usage:
# bash backup.sh
 
# Birth Time:
# 2016-07-15 16:13:43.895515929 +0800
 
# Author:
# Open Source Software written by 'Guodong Ding <dgdenterprise@gmail.com>'
# Blog: http://dgd2010.blog.51cto.com/
# Github: https://github.com/DingGuodong
 
# Others:
# crontabs -- configuration and scripts for running periodical jobs
# SHELL=/bin/bash
# PATH=/sbin:/bin:/usr/sbin:/usr/bin
# MAILTO=root
# HOME=/
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed
# m h  dom mon dow   command
# execute on 11:59 per sunday
# 59 11 * * */0 bash /path/to/backup.sh >/tmp/log_backup_fs_crontab_$(date +"\%Y\%m\%d\%H\%M\%S").log
# or
# execute on 23:59 per day
# 59 23 * * * bash /path/to/backup.sh >/tmp/log_backup_fs_crontab_$(date +"\%Y\%m\%d\%H\%M\%S").log
 
USER= "`id -un`"
LOGNAME= "$USER"
if  [ $UID - ne  0 ];  then
     echo  "WARNING: Running as a non-root user, \"$LOGNAME\". Functionality may be unavailable. Only root can use some commands or options"
fi
 
old_PATH=$PATH
declare  -x PATH= "/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"
 
# Snapshot backup script
# Refer: https://github.com/gregrs-uk/snapshot-backup/
 
# directories to backup, separated by spaces
datadir_to_backup= "/data/docker"
# backup location on remote server
# This path should not contain spaces, even if they are escaped
remote_destination= "/data/backup/filesystem/10.6.28.135"
# ssh login to remote server
backup_server= "root@10.6.28.28"
# set ssh options for backup server
ssh_option= "-i /etc/ssh/ssh_host_rsa_key -p 22 -oStrictHostKeyChecking=no"
# log dir on local machine
#log_directory="/tmp/backup-filesystem-10.6.28.135"
log_directory= "/tmp/"
# exclude file on local machine
exclude= ""
 
 
# ------ END OF CONFIGURATION VARIABLES ------
 
# the following two variables should not need modification
datetime=` date  +%Y%m%d%H%M%S`
date =` date  +%Y%m%d`
 
# set log_directory for local backup logs
test  -d ${log_directory} ||  mkdir  -p ${log_directory}
 
# check directories exist and are accessible
ssh  ${ssh_option} ${backup_server}  "test -e $remote_destination || mkdir -p $remote_destination"
 
# make directory for this snapshot
ssh  ${ssh_option} ${backup_server}  "mkdir $remote_destination/$datetime-incomplete"  || {  echo  "Could not create snapshot directory" exit  1; }
 
# Refer:
#rsync -u -r -v -e ssh --progress --delete --chmod=D775 /path/to/documents/* your_server_name@your_domain:~/public_html/documents/ --exclude=.htaccess --exclude=.htaccess~
#rsync -azurR -e "ssh -i /etc/ssh/ssh_host_rsa_key -p 22 -oStrictHostKeyChecking=no" --log-file=/tmp/rsync.log --delete --delete-excluded testdir 10.6.28.28:/data/backup/filesystem/10.6.28.135
 
 
# do the rsync
# -a, --archive               archive mode; equals -rlptgoD (no -H,-A,-X)
# -r, --recursive             recurse into directories
# -R, --relative              use relative path names
# -u, --update                skip files that are newer on the receiver
# -z, --compress              compress file data during the transfer
rsync  -azurR \
     -e  "ssh $ssh_option"  \
     --log- file =${log_directory} /backup_filesystem_rsync_ ${datetime}.log \
     --delete --delete-excluded \
     ${datadir_to_backup} \
     ${backup_server}:${remote_destination}/${datetime}-incomplete/
 
# change name of directory once rsync is complete
ssh  ${ssh_option} ${backup_server}  "mv $remote_destination/$datetime-incomplete $remote_destination/$datetime"  || {  echo  "Could not rename directory after rsync" exit  1; }
 
# link current to this backup
ssh  ${ssh_option} ${backup_server}  "test ! -d $remote_destination/current || rm -f $remote_destination/current"  || {  echo  "Could not remove current backup link" exit  1; }
ssh  ${ssh_option} ${backup_server}  "ln -s $remote_destination/$datetime $remote_destination/current"  || {  echo  "Could not create current backup link" exit  1; }
 
# remove backups older than 10 days
ssh  ${ssh_option} ${backup_server}  "find $remote_destination/* -maxdepth 0 -type d -mtime +10 -exec rm -rf {} \;"  || {  echo  "Could not remove old backups" exit  1; }
 
# remove local log files older than 10 days
find  ${log_directory}/* -maxdepth 0 - type  f -name *.log -mtime +10 - exec  rm  -rf  '{}'  \; || {  echo  "Could not remove old log files" exit  1; }
 
declare  -x PATH=${old_PATH}

tag:Linux备份,远程备份,rsync备份

--end--






本文转自 urey_pp 51CTO博客,原文链接:http://blog.51cto.com/dgd2010/1826915,如需转载请自行联系原作者


相关文章
|
17天前
|
安全 Linux Shell
Linux中SSH命令介绍
Linux中SSH命令介绍
26 2
|
13天前
|
存储 缓存 算法
【linux】认识“文件”的本质,理解“文件系统”的设计逻辑,体会linux优雅的设计理念
【linux】认识“文件”的本质,理解“文件系统”的设计逻辑,体会linux优雅的设计理念
|
2天前
|
存储 Linux Windows
【Linux】文件系统软硬链接的那些事儿
本文介绍了Linux文件系统的磁盘结构、逻辑结构以及文件和inode的关系,重点讲解了软链接和硬链接的区别,强调了它们在文件管理中的作用。
14 7
|
9天前
|
Shell Linux
Linux Shell 脚本入门教程:开启你的自动化之旅
Shell是一种计算机程序,它充当了用户与操作系统之间的接口。在Linux系统中,Shell允许用户通过命令行界面(CLI)来控制计算机。Shell脚本则是一种使用Shell语言编写的脚本,它可以自动执行一系列的命令,帮助用户实现任务自动化,提高工作效率。
|
17天前
|
网络协议 Linux 网络安全
Linux配置SSH允许TCP转发
Linux配置SSH允许TCP转发
20 1
|
22天前
|
安全 Linux Shell
【Linux基础】SSH登录
安全外壳协议(Secure Shell Protocol,简称SSH)是一种加密的网络传输协议,可在不安全的网络中为网络服务提供安全的传输环境。 SSH通过在网络中建立安全隧道来实现SSH客户端与服务器之间的连接。 SSH最常见的用途是远程登录系统,人们通常利用SSH来传输命令行界面和远程执行命令。
32 6
|
22天前
|
Shell Linux 网络安全
Linux怎样在使用ssh 链接时就指定gcc 的版本
Linux怎样在使用ssh 链接时就指定gcc 的版本
22 7
|
3天前
|
Java Shell Linux
【Linux】手把手教你做一个简易shell(命令行解释器)
【Linux】手把手教你做一个简易shell(命令行解释器)
7 0
|
11天前
|
存储 缓存 固态存储
Linux操作系统之文件系统详解
Linux操作系统之文件系统详解
|
11天前
|
Shell Linux
Linux环境变量之shell中export定义全局变量和echo 变量的区别
Linux环境变量之shell中export定义全局变量和echo 变量的区别