我一哥们最近在搞备份,需要用到rsync。因此,鄙人就简单总结了下rsync,也就有了这篇博文,希望对51的博友们有所帮助!
RSYNC简介:
Rsync (remote sync)是一款开源、快速,多功能、可实现增量的本地或远程数据镜像同步备份优秀工具。它可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代rcp 的一个工具,它当前由 Rsync.samba.org 维护。Rsync 使用所谓的“Rsync演算法”来使本地和远程主机之间的文件达到同步,该算法只传送两个文件中的不同部分,而不是每次都整份传送,因此速度相当快。
Rsync支持大多数的类 Unix 系统,无论是 Linux、Solaris 还是 BSD 上都经过了良好的测试。此外,它在windows 平台下也有相应的版本,比较知名的有 cwRsync 和 Sync2NAS。
RSYNC的特性:
1、支持拷贝特殊文件如链接、设备等。
2、可以有排除制定文件或目录同步的功能,相当于打包命令tar。
3、可以做到保持原来文件或目录的权限、时间、软硬连接等所有属性均不改变。
4、可实现增量同步,既只同步发生变化的数据,因此数据传输效率很高。
5、可以使用rcp,rsh,ssh等方式配合传输文件,也可以通过直接的socket连接。
6、支持匿名的或认证的进程模式传输,方便进行数据备份及镜像
7、优化的流程,文件传输效率高
RSYNC工作模式:
Rsync有四种工作模式,具体如下:
1、列表模式
和ls -l相似,负责列出源的内容。不仅可以看本地还可以看远端。
2、shell模式,也称为本地模式
和cp相似,本地拷贝文件
3、远程shell模式,可以通过通过rcp,ssh等通道传输
和rcp相似,不过可以实现增量备份,并且能够通过安全的ssh方式进行数据传输。
4、服务器模式
在这种模式下,rsync 守护进程在一台机器上永久运行,接收文件传输请求。可以把文件发送给守护进程,也可以向它请求文件。服务器模式非常适合创建中心备份服务器或项目存储库。
以上是对rsync做的一个简单介绍,下面来安装一下rsync,然后再详细介绍我们rsync的四种工作模式!
1
2
3
4
|
环境
CentOS6.5 x86_64位 采用最小化安装,系统经过了基本优化
selinux为关闭状态,iptables为无限制模式
源码包存放位置: /root
|
在安装之前,首先让我们看下系统上是否已经安装了rsync。
1
2
|
[root@ rsync -server ~]
rsync -3.0.6-9.el6_4.1.x86_64
|
如果出现如上的情况,说明我们的系统已经安装了rsync。如果没有出现,就说明没有安装。
如果系统没有安装,我们就需要自己安装了。安装rsync的方式一共有2种,一种是基于包管理器安装,比如rpm包之类,另外一种是基于源码安装。
1、基于包管理器安装
2、基于源码安装
a、安装缺少的gcc和库文件等
b、安装rsync
1
2
3
4
|
[root@ rsync -server ~]
[root@ rsync -server ~]
[root@ rsync -server ~]
[root@ rsync -server rsync -3.1.1]
|
这样子rsync就安装完成了。
我们需要注意的是,源码安装的rsync默认是没有加入xinetd的,因此你会发现,在/etc/xinetd.d目录下找不到rsync文件。
下面,我就开始带着大家一起来了解下rsync的四种模式!
1、列表模式(list mode)
Rsync的列表模式,即等同于在实现 ls -l 的功能。我们可以通过分别执行rsync和ls命令来观察区别。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
[root@ rsync -server /]
drwxr-xr-x 4096 2014 /06/04 00:45:06 rsync
[root@ rsync -server /]
drwxr-xr-x 4096 2014 /06/04 00:45:06 .
-rw-r--r-- 0 2014 /06/04 00:45:01 a
-rw-r--r-- 0 2014 /06/04 00:45:03 b
-rw-r--r-- 0 2014 /06/04 00:45:05 c
-rw-r--r-- 0 2014 /06/04 00:45:06 d
[root@ rsync -server /]
drwxr-xr-x. 2 root root 4096 Jun 4 00:45 /rsync
[root@ rsync -server /]
total 0
-rw-r--r--. 1 root root 0 Jun 4 00:45 a
-rw-r--r--. 1 root root 0 Jun 4 00:45 b
-rw-r--r--. 1 root root 0 Jun 4 00:45 c
-rw-r--r--. 1 root root 0 Jun 4 00:45 d
|
通过上面的输出,可以看出来,rsync后跟文件或目录和ls -l后跟文件和目录的效果大体相同(不一样的细节,这里不多描述)。需要注意的是,如果你身处某个目录,你ll能查看到所在目录下文件列表的详细信息。但是你执行rsync会报错,因此rsync必须后跟文件或目录才能查看相关的详细信息。
另外,rsync的列表模式是支持对远端的目录进行查看的,而ls -l是不具备这个功能的。
2、Shell模式(shell mode)
在 RSYNC 的 shell 模式(本地模式)中,我会列举rsync命令的用法和常规选项信息。
首先来看下 RSYNC 的命令语法:
1
|
rsync [OPTION]... SRC [SRC]... DEST
|
执行rsync --help可得到上面输出,当然输出不仅仅只有上面这一条,我仅仅将shell模式的语句摘了出来。下面对该条语句进行拆解。
1
2
3
4
5
|
rsync [OPTION]... SRC [SRC]... DEST
1) rsync 为同步的命令
2)[OPTION]... 为同步时的参数选项
3)SRC为源,即需要拷贝的分区,文件或目录等
4)[DEST]为目地分区,文件或目录等
|
rsync 常用的参数选项有如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
-n : 如果担心命令执行不正确,一同步复制,可能这个复制的后果是致命的,那后果可就严重了,这里我们可以加-n先测试一下
- v : --verbose,详细输出模式,显示详细过程
-q : --quiet,静默模式,尽可能输出少的信息
-c : --checksum,可以对传输的文件进行较验的,强制对文件传输进行校验
-r : --recursive,递归复制
-p : --perms,保存文件的权限
-t : -- times ,保留文件的时间戳
-l : --links,保留文件的符号链接
-g : --group,保留文件的属组
-o : --owner,保留文件的属主
-D : --devices,保留设备文件
-A : --acls,保留acl访问控制列表
-a : --archives归档,复制时可以保存原有的属主属主等属性信息,甚至包括一点额外的属性。等同于-rlptgoD
-e SSH : 远程复制时,表示使用 ssh 协议作承载。如果 ssh 端口不是22,可以用-e ‘ ssh -p 22’
-z : 基于网络时使用,对文件压缩后传输
--progress : 显示压缩进度条的,简写-P
--stats : 显示如何执行压缩和传输的,也就是显示传输状态的
--
|
更多的详细信息,请通过man rsync来进行查看。
需要注意的是:rsync命令在使用中,如果源参数的末尾有斜线,就会复制指定目录内的内容,而不复制目录本身;如果没有斜线,则会复制目录本身。目标参数的末尾有没有斜线都不影响。
接下来,请看下面两个例子:
1
2
|
[root@ rsync -server /]
[root@ rsync -server /]
|
现在,我们在shell模式下,进行rsync的同步。
实例1:测试本地rsync同步
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
[root@ rsync -server ~]
[root@ rsync -server ~]
[root@ rsync -server ~]
[root@ rsync -server rsync ]
total 8
drwx------. 2 root root 4096 Jun 4 01:01 .
dr-xr-xr-x. 26 root root 4096 Jun 4 01:01 ..
-rwx------. 1 root root 0 Jun 4 01:01 test
[root@ rsync -server ~]
sending incremental file list
./
test
sent 78 bytes received 34 bytes 224.00 bytes /sec
total size is 0 speedup is 0.00
[root@ rsync -server ~]
-rwx------. 1 root root 0 Jun 4 01:01 /tmp/test
|
上面的例子,演示了将本地/rsync目录下的文件,同步到/tmp目录下。其中使用的参数,-avz上面讲过。如果不明白,可以去上面看每个参数的详细介绍。
3、远程shell模式(remote shell mode)
远程shell模式的话,和shell模式是异曲同工。只不过,因为是要通过远程,因此我们需要指定远程主机的IP,如果采用ssh我们还需要指定ssh的端口等等。
远程shell模式,常规分为如下两种情况,其语法分别为:
1
2
|
拉取pull : rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
推送push: rsync [OPTION]... [USER@]HOST:SRC [DEST]
|
下面为大家拆解一下命令:
1
2
3
4
5
|
1)Rsync为同步的命令
2)[OPTION]... 为同步时的参数选项
3)[USER@]HOST... 为Rsync同步的远程的连接用户和主机地址
4)SRC为源,即需要拷贝的分区、文件或目录等,和HOST之间用一个冒号连接
5)[DEST]为目地分区、文件或目录等
|
大家可以发现,拉取和推送,不一样的地方就是源和目标换了位置。其中拉取,表示从远端主机把数据同步到执行命令的本地主机相应目录。(需要注意,拉取的话,远端主机上一定要安装rsync,不然会拉取失败)。推送,表示从本地主机执行命令把本地的数据同步到远端主机指定目录下
下面我们来看一个案例:
拉取实例:
老大要求拉取172.16.100.1这台服务器上的etc目录到我们的备份服务器172.16.100.2上的/backup目录下。
操作:
通过ssh连接到172.16.100.1这台服务器上,然后执行如下命令:
1
2
3
4
5
6
7
|
[root@ rsync -server ~]
语法说明:
1)-vzrtopg 相当于上文的-avz,表示同步时文件和目录属性不变。
2)--progress 显示同步的过程,可以用-p替换
3)-e ‘ ssh -p 22’,表示通过 ssh 的通道传输数据。如果 ssh 是默认的22号端口,此处的-p 22可省略。
4)root@192.168.1.111: /etc 远程的主机用户,地址,路径
5) /backup 本地(172.16.100.2)的路径
|
推送实例:
公司内部有一台svn服务器(172.16.100.2),公司站点的更新代码通过后台的测试服务器测试之后,经过svn同步到svn服务器。老大要求你将svn服务器上的代码,推送到前台的服务器(172.16.100.1)上。
操作:通过ssh连接到svn服务器(172.16.100.2)上,然后执行如下命令
特别说明:
1)上面两个例子中的数据同步都是加密传输的,因为是通过ssh通道进行数据传输的。
2)在传输前需要进行连接用户(一般为系统用户)密码验证,需要手工输入。这里我们可以通过配置ssh互信来实现免验证方式同步。
3)rsync软件必须安装在本地及远程服务器上
4、服务模式(daemon mode)
RSYNC的服务模式,部署时分为rsync的服务端和rsync的客户端。需要注意的是,rsync 的服务端和客户端都是一个软件包,如果你启用了 rsync 的服务模式,则该主机就变成 rsync 服务器。因此我们需要将 rsync 分别安装于服务端和客户端,服务端和客户端使用同一个 rsync 软件包来实现远程镜像和定期同步更新。
rsync 服务端可同时备份多个客户端的数据,多个服务端备份一个客户端的数据。 rsync 默认端口为 873,服务器在该端口接收客户的匿名或者认证方式的备份请求。
rsync 服务端在使用之前需要进行必要的配置,其配置文件为 /etc/rsyncd.conf,该文件默认没有,需要自己手动创建。Rsync服务端通过/etc/rsyncd.conf进行认证、访问、日志记录等控制,该配置文件包括全局参数、模块参数等设置。
rsyncd.conf 文件中 [module] 之前的所有参数为全局参数,也可以在全局参数部分定义模块参数。在这种情况下该参数的值就是所有模块的默认值。全局参数设置程序使用的端口号,指定消息文件、日志文件 pid 文件以及发送日志消息的级别。模块参数主要定义服务端哪个目录需要被同步。用户可根据不同的需要指定多个模块,每个模块对应需要备份的一个目录树,即若有 N 个需要备份的目录树,则需要 N 个模块与之对应。模块中可以定义许多参数。下面,我们拿出来一个rsyncd.conf文件,来给大家做详解:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
uid = rsync
gid = rsync
port=873
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd .pid
lock file = /var/run/rsyncd .lock
log file = /var/log/rsyncd .log
Log fromat = %h %o %f %l %b
motd file = /etc/rsyncd .motd
[ test ]
Comment = test
path= /test/
ignore erros
read only = false
write only 设定是否允许客户下载文件。若为 true 任何下载请求均会失败,默认值为 false 。
list = false
hosts allow=192.168.137.0 /24
hosts deny=*
Dont commpress
auth users = rsync_backup
secrets file = /etc/rsync .password
exclude = common/
pre-xfer exec , post-xfer exec
|
以上就是,rsyncd.conf的详细配置信息了。我将很多的默认不显示的参数也列举了出来,大家使用的时候可以灵活掌握。
下面,我就带大家来一起配置一个 rsync的服务端和rsync的客户端!
1
2
3
4
5
6
7
|
环境
CentOS6.5 x86_64位 采用最小化安装,系统经过了基本优化
selinux为关闭状态,iptables为无限制模式
源码包存放位置: /root
服务器架构:
rsync -server:172.16.100.1
rsync -client:172.16.100.2
|
RSYNC 服务端部署:
1、安装rsync,并且配置服务端主配置文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
[root@ rsync -server ~]
[root@ rsync -server ~]
uid = root
gid = root
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd .pid
lock file = /var/run/rsync .lock
log file = /var/log/rsyncd .log
ignore errors
read only = false
list = false
hosts allow = 172.16.100.0 /24
hosts deny = *
auth users = rsync_backup
secrets file = /etc/rsync .password
[sunsky]
path = /test
|
2、创建 rsync.password 作为用户密码文件
1
2
3
4
|
[root@ rsync -server ~]
[root@ rsync -server ~]
[root@ rsync -server ~]
rsync_backup:redhat
|
3、(可选)创建 rsync.motd 作为登录消息文件。该文件为选择性配置文件,生产环境不推荐使用。
1
2
3
4
5
|
[root@ rsync -server ~]
[root@ rsync -server ~]
============================
This is Critical Data Server
=============================
|
4、创建模块中指定的文件
1
2
|
[root@ rsync -server ~]
[root@ rsync -server ~]
|
5、以守护进程方式启动 rsync
Rsync服务端的启动分2种,一种是交给 xinetd 去管理,另外就是自己手动配置守护进程。
A、手动配置rsync守护进程
我们可以将上面的命令写入 /etc/rc.local 中,这样当系统启动时,就会自动以守护进程的方式去运行 rsync。
补充:
重启rsync的组合命令
1
2
3
|
[root@ rsync -server ~]
[root@ rsync -server ~]
[root@ rsync -server ~]
|
B、交由xinetd管理
1
2
3
4
|
[root@ rsync -server ~]
[root@ rsync -server ~]
disable= no
[root@ rsync -server ~]
|
6、检查服务状态
1
2
3
4
|
[root@ rsync -server ~]
[root@ rsync -server test ]
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 10234 /rsync
tcp 0 0 :::873 :::* LISTEN 10234 /rsync
|
或者
1
2
3
4
5
|
[root@ rsync -server ~]
[root@a test ]
COMMAND PID USER FD TYPE DEVICE SIZE /OFF NODE NAME
rsync 10234 root 3u IPv4 93239 0t0 TCP *: rsync (LISTEN)
rsync 10234 root 5u IPv6 93240 0t0 TCP *: rsync (LISTEN)
|
补充:
手动启动rsync的常见参数:
1
2
3
4
5
6
|
[root@ rsync -server ~]
常用启动参数:
--daemon
--address
--config=FILE
--port=PORT
|
以上即为rsync服务端的整个配置步骤了!
RSYNC 服务端已经部署完毕,接下来如果要使用的话,肯定还需要搭配 rsync 客户端才行!下面就来看,rsync客户端怎么部署!
RSYNC 客户端部署
RSYNC 客户端部署起来非常简单,我们仅仅需要安装 rsync 软件,然后创建一个本地密码文件。该密码文件为对应rsync 服务端配置文件里面每个模块下面的虚拟用户的密码,以此来实现免密码同步!
操作如下:
1、安装rsync
2、配置本地密码文件
1
2
3
4
|
[root@ rsync -server ~]
redhat
[root@ rsync -server ~]
[root@ rsync -server ~]
|
OK!!!
RSYNC的服务端和客户端都配置完毕,现在我们可以进行测试了。
我们需要去rsync客户端,来完成下面的测试操作。需要注意,测试同样分为两种情况,每种情况又有两种语法写法,分别为:
1
2
3
4
|
拉取:① rsync [OPTION...] [USER@]HOST::SRC... [DEST]
② rsync [OPTION...] rsync : // [USER@]HOST[:PORT] /SRC ... [DEST]
推送:① rsync [OPTION...] SRC... [USER@]HOST:DEST
② rsync [OPTION...] SRC... rsync : // [USER@]HOST[:PORT] /DEST
|
特别值得注意的是,与远程shell模式命令不同的是,第①种语法格式, [USER@]HOST::SRC和 [USER@]HOST::DEST结尾处,均为双冒号连接SRC或DEST。另外,这个SRC或DEST已经不再是路径了,而是守护进程中配置的模块的名称了。
下面列举我们在rsync客户端上,对rsync服务端进行拉取或推送的操作范例:
第一种格式:
拉取:
1
|
rsync -avzP rsync_backup@172.16.100.1::sunsky /test/ --password- file = /etc/rsync .password
|
推送:
1
|
rsync -avzP /test rsync_backup@172.16.100.1::sunsky --password- file = /etc/rsync .password
|
第二种格式:
拉取:
1
|
rsync -avzP rsync : //rsync_backup @172.16.100.1: /sunsky/ /test/ --password- file = /etc/rsync .password
|
推送:
1
|
rsync -avzP /test/ rsync : //resync_backup @192.168.1.111: /sunsky/ --password- file = /etc/rsync .password
|
以上就是,rsync整个服务端和客户端的配置。
在生产环境中,我们可以专门部署一台rsync服务器,专门负责接收业务服务器的日志归档和配置文件归档。当然,我们也可以部署在svn服务器之前,来作为网站代码推送的服务器,或者说一台web服务器专门用来做分发的时候。
但是我们知道,我们的日志归档都是在凌晨,因此我们不可能天天晚上去做向rsync服务端的推送操作。并且,如果日常web内容做分发的次数频繁的话,我们不可能每时每刻都盯着它去做手动推送。因此我们可以借助crontab计划任务来实现定时推送。
1
2
3
4
5
|
[root@ rsync -server ~]
* 1 * * * /usr/bin/rsync-avzP rsync_nobody@172.16.100.1::weblog /data/log/ --password- file = /etc/rsyncd . passwd > /dev/null 2>&1
* * * * * /usr/bin/rsync-avzP --delete rsync_nobody@172.16.100.1::webdata /data/web/ --password- file = /etc/rsyncd . passwd > /dev/null 2>&1
|
注意:上面用到的weblog和webdata都是模块的名字,我们在rsyncd.conf里面指定模块所对应的目录路径。
但是,我们仍然会发现一个问题,虽然使用计划认为能满足我们的日志归档定时推送到rsync服务端,但是每次都有1分钟的延迟。并且,在某些作为网站发布平台的情况下,rsync每分钟都去检查整体一致性然后做推送,这样子非常耗费资源。因此,我们需要对此种情况进行改良。在后面一篇博文,我会带大家一起了解rsync+inotify,借助rsync+inotify来实现实时同步文件。
在本文最后面,我贴上rsync的--delete和--exclude的操作效果!
--delete操作如下:
1
2
3
4
|
[root@ rsync -server ~]
e
[root@ rsync -client ~]
a b c d
|
以上为操作前的环境,请保持这个环境一致,然后做如下操作:(下面的推送和拉取都是基于此环境做的)
在rsync客户端做拉取操作:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
[root@ rsync -client ~]
receiving incremental file list
deleting d
deleting c
deleting b
deleting a
./
e
0 100% 0.00kB /s 0:00:00 (xfer
sent 86 bytes received 143 bytes 458.00 bytes /sec
total size is 0 speedup is 0.00
[root@ rsync -client ~]
e
[root@ rsync -server ~]
e
|
我们发现,rsync客户端本身的a,b,c,d文件都消失了,取而代之的是e文件,并且我们在rsync的拉取过程中,也能看到删除操作!
在rsync客户端做推送操作:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
[root@ rsync -client ~]
sending incremental file list
./
deleting e
a
0 100% 0.00kB /s 0:00:00 (xfer
b
0 100% 0.00kB /s 0:00:00 (xfer
c
0 100% 0.00kB /s 0:00:00 (xfer
d
0 100% 0.00kB /s 0:00:00 (xfer
sent 201 bytes received 87 bytes 576.00 bytes /sec
total size is 0 speedup is 0.00
[root@ rsync -client ~]
a b c d
[root@ rsync -server ~]
a b c d
|
我们发现,rsync服务端本身的e文件消失了,取而代之的是a,b,c,d文件,并且我们在rsync的推送过程中,也能看到删除操作!
--exclude操作如下:
1
2
3
4
5
6
7
8
9
10
11
12
|
[root@ rsync -server ~]
/test/
0 directories, 0 files
[root@ rsync -client ~]
/test/
├── a
├── b
├── c.txt
├── x
│ └── xxx.txt
└── x.txt
2 directories, 4 files
|
以上为操作前的环境,请保持这个环境一致,然后做如下操作:
在rsync客户端做推送操作:
1
2
3
4
5
6
7
8
9
|
[root@ rsync -client ~]
root@172.16.100.1's password:
sending incremental file list
./
a
b
x/
sent 154 bytes received 57 bytes 60.29 bytes /sec
total size is 0 speedup is 0.00
|
在rsync服务端进行查看同步效果:
1
2
3
4
5
6
|
[root@ rsync -server ~]
/test/
├── a
├── b
└── x
1 directory, 2 files
|
我们可以发现,只要是能被*.txt匹配到的都没有被推送过去!
如果说,你有很多需要排除的目录或者文件,不希望他们被同步过去,此时你可以使用--exclude-from参数,该参数后面跟一个文件,你可以将需要匹配排除的项写到该文件里面!
例子:
在rsync客户端做推送操作:
1
2
3
4
5
6
7
8
9
10
11
12
|
[root@ rsync -client ~]
x
*.txt
[root@ rsync -client ~]
root@172.16.100.1's password:
sending incremental file list
./
a
b
xx/
sent 151 bytes received 57 bytes 59.43 bytes /sec
total size is 0 speedup is 0.00
|
在rsync服务端进行查看同步效果:
1
2
3
4
5
6
|
[root@ rsync -server ~]
/test/
├── a
├── b
└── xx
1 directory, 2 files
|
以上就是我们的--exclude和--exclude-from的详细用法!