一、前言
可以配置SSH信任，做信任后，同步就不需要密码文件了
1、rsync
如果你man一下sync的话，就会发现：sync-flush file system buffers，它是一个把缓冲区中的数据同步到文件系统中的一个命令；而rsync其实就是remote rsync，它是一个远程同步工具，兼具cp和scp的功能，rsync命令的使用几乎和scp是一样一样的。rsync是通过超级守护进程xinetd进行触发同步的。
1）优点：与cp和scp相比来说，rsync更快，更安全，支持增量备份。rsync在数据同步的过程中，不像cp一样全部都拷贝，而是先去比对特征码，只有不一样的才会去拷贝，如果一样了，就不需再做多余操作。通过使用rsync+crontab可以解决对实时性要求不是太高的场景。
2）缺点：在这个大数据年代，如果你的数据量非常大，你每做一次任务计划，rsync都会先去遍历目标目录，把所有数据做一次特征码比对，然后进行差量传输，这个过程会是很漫长的，对于那些要求实时性更新比较高的企业来说，无疑是一场噩梦。但是如果能够出现一个工具能够实时的去监控我们的文件系统，只有在数据改变时才会触发它去同步，那该有多好啊！为了满足广大需求者的心声rsync+inotify组合就出现了
2、inotify
Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、***，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
3、rsync+inotify 之推荐理由
1）服务器性能：rsync+crontab会定时去检查是否有文件更新，这势必会造成服务器性能下降；而rsync+inotify组合是触发式更新，只有在数据文件有变化时，才会去更新，因此相对前者而言，是提高了服务器性能
2）数据实时性：rsync+crontab是周期性任务计划，不能保证数据的实时性；rsync+inotify组合是触发式更新，只要有数据变化，就立刻同步更新
二、系统平台环境
1、操作系统：CentOS6.4-X86_64
2、rsync客户端（rsync+inotify）：172.16.150.150
3、rsync服务端：172.16.251.93，172.16.251.194
三、实验拓扑
四、配置rsync服务端（172.16.251.93、172.16.251.194）
1、配置rsync服务端：172.16.251.93
1）检查系统是否已经安装rsync和xinetd超级守护进程，CentOS6.4默认已经安装rsync，但未安装xinetd
|
1
2
|
[root@nmshuishui www]
# rpm -qa | grep rsync
rsync
-3.0.6-9.el6.x86_64
|
|
1
|
yum -y
install
xinetd
rsync
|
2）为rsync服务提供配置文件
vim /etc/rsyncd.conf
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
#Global Settings 全局配置
uid = nobody
#运行rsync的用户
gid = nobody
#运行rsync的用户组
use chroot = no
#是否让进程离开工作目录
max connections = 5
#最大并发连接数，0为不限制
timeout = 600
#超时时间
pid
file
=
/var/run/rsyncd
.pid
#指定rsync的pid存放路径
lockfile =
/var/run/rsyncd
.lock
#指定rsync的锁文件存放路径
log
file
=
/var/log/rsyncd
.log
#指定rsync的日志存放路径
#模块配置
[web1]
path =
/var/www
#认证的模块名,在client端需要指定
ignore errors =
yes
#忽略一些无关的I/O错误
read
only = no
#客户端是否能拉（PULL）
write only = no
#客户端是否能推（PUSH）
hosts allow = 172.16.150.150
#白名单，可以访问此模块的主机
hosts deny = *
#黑名单，*表示任何主机
list =
yes
#客户端请求是否可以列出模块列表
uid = root
#以root的身份去获取文件
gid = root
auth
users
= web
#认证此模块的用户名
secrets
file
=
/etc/web
.
passwd
#指定存放“用户名：密码”格式的文件
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
#一种更简便的写法
#Global Settings
uid =
op
gid =
op
hosts allow = 10.10.64.218 10.10.1.10 59.108.99.178
max connections = 10
pid
file
=
/var/run/rsyncd
.pid
lockfile =
/var/run/rsyncd
.lock
log
file
=
/var/log/rsyncd
.log
[www]
path =
/data/www
read
only =
yes
#如果要写入此模块，则 read only = no
auth
users
= www
secrets
file
=
/etc/rsyncd
.secret
[opt]
path =
/data/opt
read
only =
yes
auth
users
= opt
secrets
file
=
/etc/rsyncd
.secret
|
3）创建同步目录
|
1
|
[root@nmshuishui ~]
# mkdir /var/www
|
4）配置rsync认证文件/etc/web.passwd
|
1
2
3
4
5
|
[root@nmshuishui ~]
# echo "web:web" > /etc/web.passwd
[root@nmshuishui ~]
# cat /etc/web.passwd
web:web
www:www
opt:opt
|
5)修改/etc/web.passwd（服务端）的权限为600，且属主必须为root
客户端的密码文件的属主可以不为root，需为当前登录系统用户，权限也为600。有时候会遇到在服务器上只有普通用户权限的情况，那就不能在/etc/下创建密码文件了，可以创建在此登录用户的家目录下，一样解决问题
|
1
2
3
|
[root@nmshuishui ~]
# chmod 600 /etc/web.passwd
[root@nmshuishui ~]
# ll /etc/web.passwd
-rw------- 1 root root 10 Mar 27 22:31
/etc/web
.
passwd
|
6）配置服务能够启动
|
1
2
3
|
[root@nmshuishui ~]
# chkconfig rsync on
[root@nmshuishui ~]
# service xinetd start
Starting xinetd: [ OK ]
|
7）检查873端口是否成功监听
8）检查rsync运行状态
|
1
|
[root@nmshuishui ~]
# chkconfig --list
|
2、配置rsync服务端：172.16.251.194
步骤同上
1）检查系统是否已经安装rsync和xinetd超级守护进程
2）为rsync服务提供配置文件
vim /etc/rsyncd.conf
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
#Global Settings
uid = nobody
gid = nobody
use chroot = no
max connections = 5
timeout = 600
pid
file
=
/var/run/rsyncd
.pid
lockfile =
/var/run/rsyncd
.lock
log
file
=
/var/log/rsyncd
.log
[web2]
path =
/var/www
ignore errors =
yes
read
only = no
write only = no
hosts allow = 172.16.150.150
hosts deny = *
list =
yes
uid = root
gid = root
auth
users
= web
secrets
file
=
/etc/web
.
passwd
|
3）创建同步目录
|
1
|
[root@shuishui www]
# mkdir /var/www
|
4）配置rsync认证文件/etc/web.passwd
|
1
2
3
|
[root@shuishui ~]
# echo "web:web" > /etc/web.passwd
[root@shuishui ~]
# cat /etc/web.passwd
web:web
|
5)修改/etc/web.passwd的权限为600
|
1
2
3
|
[root@shuishui ~]
# chmod 600 /etc/web.passwd
[root@shuishui ~]
# ll /etc/web.passwd
-rw------- 1 root root 10 Mar 29 15:21
/etc/web
.
passwd
|
6）配置服务能够启动
|
1
2
3
|
[root@nmshuishui ~]
# chkconfig rsync on
[root@nmshuishui ~]
# service xinetd start
Starting xinetd: [ OK ]
|
7）检查873端口是否成功监听
8）检查rsync运行状态
五、配置rsync客户端（172.16.150.150）
1、设置 rsync 客户端的密码文件，客户端只需要设置 rsync 同步的密码即可，不用设置用户名（默认已经安装了rsync）
|
1
2
3
|
[root@shuishui ~]
# echo web > /etc/web.passwd
[root@shuishui ~]
# cat /etc/web.passwd
web
|
2、修改/etc/web.passwd的权限为600，客户端密码文件属主.属组为登录系统的当前用户
|
1
2
3
|
[root@shuishui www]
# chmod 600 /etc/web.passwd
[root@shuishui www]
# ll /etc/web.passwd
-rw------- 1 root root 10 Mar 26 21:28
/etc/web
.
passwd
|
3、安装inotify-tools
|
1
2
3
4
|
# tar xf inotify-tools-3.13.tar.gz
# cd inotify-tools-3.13
# ./configure
# make && make install
|
4、在172.16.150.150上测试下能否同步文件
不管是推还是拉，推、拉操作都是在rsync客户端执行的
|
1
2
|
[root@shuishui www]
# rsync -vzrtopg --delete --password-file=/etc/web.passwd /etc/fstab web@172.16.251.93::web1 #PUSH
[root@shuishui www]
# rsync -vzrtopg --delete --password-file=/etc/web.passwd web@172.16.251.93::web1/123 /var/www/ #PULL
|
上面这个命令行中-vzrtopg里的v是verbose，z是压缩，r是recursive，topg都是保持文件原有属性如属主、时间的参数
1）第1条是是从rsync客户端（172.16.150.150）上传文件到rsync服务端（172.16.251.93），这里必须要指定密码文件
2）第2条是从rsync服务端（172.16.251.93）下载文件到rsync客户端（172.16.150.150）
3）以上两条说明了，rsync服务端和客户端是可用的；经测试，另一台rsync服务端也可用，不再贴图了。接下来的任务就是编写服务脚本了，能够让rsync客户端自动监测目录的变动情况，并自动同步到rsync服务端，完全实现自动化。
5、排除文件及目录
|
1
2
|
rsync
-vzrtopg --delete --password-
file
=
/etc/web
.
passwd
--exclude=
"logs/nginx.log"
web@172.16.251.93::web1
/123
/var/www/
rsync
-vzrtopg --delete --password-
file
=
/etc/web
.
passwd
--exclude=
"logs"
web@172.16.251.93::web1
/123
/var/www/
|
六、编写rsync脚本，实现数据实时同步
1、在rsync客户端（172.16.150.150）编写rsync脚本
vim /var/www/rsync.sh
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
#!/bin/bash
src=
/var/www/
des1=web1
des2=web2
host1=172.16.251.93
host2=172.16.251.194
user1=web
user2=web
/usr/local/bin/inotifywait
-mrq --timefmt
'%d/%m/%y %H:%M'
--
format
'%T %w %f'
-e modify,delete,create,attrib $src |
while
read
file
DATE TIME DIR;
do
/usr/bin/rsync
-vzrtopg --delete --progress $src $user1@$host1::$des1 --password-
file
=
/etc/web
.
passwd
/usr/bin/rsync
-vzrtopg --delete --progress $src $user2@$host2::$des2 --password-
file
=
/etc/web
.
passwd
echo
"${files} was rsynced"
>>
/var/log/rsync
.log 2>&1
done
|
2、给rsync.sh执行权限
|
1
2
3
|
[root@shuishui www]
# chmod +x rsync.sh
[root@shuishui www]
# ll rsync.sh
-rwxr-xr-x 1 root root 523 Mar 27 00:46
rsync
.sh
|
3、把脚本加入到开机自动启动文件
|
1
|
[root@shuishui www]
# echo "/var/www/rsync.sh &" >> /etc/rc.local
|
4、同步测试
在测试之前，为了演示效果的明显，我先把两台rsync服务端的/var/www/下的所有文件都清除掉，让其把持一个空目录，然后重启下rsync客户端，开机后，在rsync客户端的/var/www目录中，新建一个文件，看其是否能够成功监控并自动同步
1）rsync服务端（172.16.251.93，172.16.251.194）/var/www目录下都空；rsync客户端（172.16.150.150）/var/www目录下非空
2）开机在rsync客户端（172.16.150.150）/var/www目录下touch一个6
3）查看rsync服务端（172.16.251.93）是否同步成功
4）查看rsync服务端（172.16.251.194）是否同步成功
七、rsync报错
1、rsync: chgrp "/." (in res_hk) failed: Operation not permitted (1)
解决办法：需要加一个 --no-group
|
1
|
rsync
-vzrtopg --no-group --delete --password-
file
=
/etc/rsync
.vietnam
/root/config/
backupfront@103.19.96.149::res_hk
|
