Rsync同步日志服务的搭建

Rsync同步日志服务的搭建

一、Rsync介绍：

    rsync是Unix下的一款应用软件，它能同步更新两处计算机的文件与目录，并适当利用差分编码以减少数据传输。rsync中一项与其他大部分类似程序或协定中所未见的重要特性是镜像对每个目标只需要一次传送。rsync可拷贝／显示目录属性，以及拷贝文件，并可选择性的压缩以及递归拷贝。在常驻模式（daemon mode）下，rsync默认监听TCP端口873，以原生rsync传输协定或者通过远程shell如RSH或者SSH伺服文件。SSH情况下，rsync客户端运行程序必须同时在本地和远程机器上安装。

    RSYNC软件介绍：

rsync是类unix系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remote sync。它的特性如下：

可以镜像保存整个目录树和文件系统。

可以很容易做到保持原来文件的权限、时间、软硬链接等等。

无须特殊权限即可安装。

优化的流程，文件传输效率高。

可以使用rcp、ssh等方式来传输文件，当然也可以通过直接的socket连接。

支持匿名传输，以方便进行网站镜象。 

只允许客户端从服务器同步内容到本地 不允许客户端上传数据。 

如果有多台源服务器要同步到同一台目的服务器上，那么最好是将源服务器设置成客户端，目的服务器设置成服务器端，当然配置文件中要允许写（read only = no）。

二、Rsync的安装：

a.首先去官网下载一个安装包（目前最新的版本是3.1.0 2013-8-7） 

wget http://rsync.samba.org/ftp/rsync/src-previews/rsync-3.1.0pre1.tar.gz 

b.解压: 

tar -zxvf rsync-3.1.0pre1.tar.gz 

c.编译安装!

# cd rsync-3.1.0pre1/

# ./configure --prefix=/usr/local/rsync

# make

# make install

以上过程没有出现的话就安装好了，现在就有rsync命令可以用了，rsync命令放在/usr/local/rsync/bin。用rsync命令可以去运行有rsync服务的服务器上抓取资料。 

如果要把当前的机器变成一台rsync服务器的话，就需要继续进行一些配置了。

这种方式是利用Rsync安装包安装。

客户端上面进行安装的话只需要试验一下rsync这个命令能否显示，之后用yum进行安装。

三、Rsync的服务端配置文件的设置：

Rsync的配置文件有三个：

rsyncd.conf、rsyncd.secrets、rsyncd.motd

a.手动去创建rsyncd.conf

vi /etc/rsyncd.conf

rsyncd.conf的参数写在上边就是全局参数和写在模块里的就是模块参数

#vi /etc/rsyncd.conf

全局参数

uid = root                                  //运行RSYNC守护进程的用户

gid = root                                  //运行RSYNC守护进程的组

use chroot = no                 //不使用chroot

max connections = 4             // 最大连接数为4

strict modes =yes                //是否检查口令文件的权限

port = 873                      //默认端口873

模块参数

[backup]                   //这里是认证的模块名，在client端需要指定

path = /home/backup/        //需要做镜像的目录,不可缺少！

comment = This is a test       //这个模块的注释信息 

ignore errors                //可以忽略一些无关的IO错误

read only = yes              // 只读

list = no                   //不允许列文件

auth users = hening             //认证的用户名，如果没有这行则表明是匿名，此用户与系统无关

secrets file = /etc/rsync.pas           //密码和用户名对比表，密码文件自己生成，这里写的什么后面创建的时候就创建成什么。

hosts allow = 192.168.1.1,10.10.10.10      //允许主机

hosts deny = 0.0.0.0/0                   //禁止主机

#transfer logging = yes

注释：下面这些绿色文件是安装完RSYNC服务后自动生成的文件

pid file = /var/run/rsyncd.pid      //pid文件的存放位置

lock file = /var/run/rsync.lock     //锁文件的存放位置

log file = /var/log/rsyncd.log      //日志记录文件的存放位置

我自己练习的时候配置比较简单。我的服务端的IP为192.128.211.128

其中配置文件内容如下，具体参数含义参照上面。

[root@localhost logs]# cat /etc/rsyncd.conf 

secrets file = /etc/rsyncd.secrets

motd file = /etc/rsyncd.motd

read only = no

list = yes

uid = root

gid = root

hosts allow = 192.168.211.0/24

max connections = 20

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

[logs]

comment = This is test by web

path = /opt/wbb/logs

auths = wbb

b.手动创建rsyncd.secrets

这个文件也可以是别的名字，这个文件的名字是在/etc/rsyncd.conf中写的，哪里写的什么这里就创建成什么名字。

vi /etc/rsyncd.secrets

接下来进行用户权限的设置：

rsyncd.secrets是存储rsync服务的用户名和密码的，它是一个明文的文本文件，下面给出一个rsyncd.secrets文件的例子：

terry:12345

rsync:abcde

因为rsyncd.secrets存储了rsync服务的用户名和密码，所以非常重要，因此文件的属性必须设为600，只有所有者可以读写：

# chmod 600 /etc/rsyncd.secrets

我自己的设置

[root@localhost logs]# cat /etc/rsyncd.secrets 

wbb:wbb

[root@localhost logs]# chmod 600 /etc/rsyncd.secrets

[root@localhost logs]#useradd wbb

[root@localhost logs]# echo 'wbb'|passwd --stdin wbb

创建用户名并且设置密码

在服务端也要创建目录/opt/wbb/logs，用来进行文件同步。

[logs]

comment = This is test by web

path = /opt/wbb/logs

auths = wbb

c.手动创建rsyncd.motd

# vi /etc/rsyncd.motd

rsyncd.motd记录了rsync服务的欢迎信息，你可以在其中输入任何文本信息，如：

Welcome to use the rsync services!

根据个人喜好进行设置。

d.编辑/etc/services 这个文件

services并不是rsync的配置文件，这一步也可以不做。而修改了services文件的好处就在于系统知道873端口对就的服务名为rsync。修改services的方法就是确保services中有如下两行，没有的话就自行加入：

rsync　　873/tcp　　# rsync

rsync　　873/udp　　# rsync

e.创建/etc/xinetd.d/rsync 这个文件

先安装xinetd。

yum install –y xinetd

# vi /etc/xinetd.d/rsync

[root@localhost logs]# cat /etc/xinetd.d/rsync 

# default: off

# description: The rsync server is a good addition to an ftp server, as it \

# allows crc checksumming etc.

service rsync

{

disable = no

flags = IPv6

socket_type     = stream

wait            = no

user            = root

server          = /usr/bin/rsync这里要根据实际情况来选择一般用安装包进行安装的默认是在这个路径下面）

server_args     = --daemon

log_on_failure  += USERID

}

[root@localhost logs]#

f.启动服务端rsync

[root@localhost ~]# /usr/bin/rsync --daemon --config=/etc/rsyncd.conf

[root@localhost logs]# ps -ef | grep rsync

root      2159     1  0 11:33 ?        00:00:00 /usr/bin/rsync --daemon --config=/etc/rsyncd.conf

root      2792  1816  0 15:17 pts/0    00:00:00 grep rsync

[root@localhost logs]# netstat -anltup| grep 873

tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      2159/rsync          

tcp        0      0 :::873                      :::*                        LISTEN      2159/rsync 

g.关闭服务端的防火墙

service iptables stop

不关闭防火墙就会报如下错

[root@localhost opt]# rsync -azv  /opt/backup/logs wbb@192.168.211.128::logs

rsync: failed to connect to 192.168.211.128: No route to host (113)

rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6]

四、客户端设置

客户端上面进行安装的话只需要试验一下rsync这个命令能否显示，这个命令不能使用就用yum进行安装。

yum install rsync

安装了之后就可以使用rsync命令了。

在客户端创建了/opt/backup/logs这个目录，用来将服务端的/opt/wbb/logs这个目录下的文件同步到客户端的/opt/backup/logs这个目录。

在服务端/opt/wbb/logs这个目录下创建两个文件，名为1和2，在客户端进行同步

[root@localhost opt]# rsync -azv wbb@192.168.211.128::logs /opt/backup/logs

Welcome to use the rsync services!

receiving incremental file list

./

1

2

sent 67 bytes  received 184 bytes  502.00 bytes/sec

total size is 0  speedup is 0.00

在服务端/opt/wbb/logs这个目录下创建1个文件，名为3，在客户端进行同步

[root@localhost opt]# rsync -azv wbb@192.168.211.128::logs /opt/backup/logs

Welcome to use the rsync services!

receiving incremental file list

./

3

sent 48 bytes  received 162 bytes  420.00 bytes/sec

total size is 0  speedup is 0.00

客户端的文件查看。

[root@localhost opt]# cd /opt/backup/logs

[root@localhost logs]# ll

total 0

-rw-r--r--. 1 root root 0 Apr 12 11:49 1

-rw-r--r--. 1 root root 0 Apr 12 11:50 2

-rw-r--r--. 1 root root 0 Apr 12 11:54 3

[root@localhost opt]# cat rsync.sh 

rsync -vazv --password-file=/etc/rsyncd.secrets wbb@192.168.211.128::logs  /opt/backup/logs

--password-file=/etc/rsyncd.secrets权限600 表示在/etc目录下面有个密码文件wbb

[root@localhost opt]# cat /etc/rsyncd.secrets 

wbb

[root@localhost opt]#chmod 600 /etc/rsyncd.secrets

通过 crontab –e 

*/1 * * * * /root/rsync.sh &> dev/null

这样就可以实现一分钟一次的同步日志。

五、rsync选项功能

在配置完rsync服务器后，就可以从客户端发出rsync命令来实现各种同步的操作。rsync有很多功能选项，下面就对介绍一下常用的选项：

rsync的命令格式可以为：

1. rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

2. rsync [OPTION]... [USER@]HOST:SRC DEST

3. rsync [OPTION]... SRC [SRC]... DEST

4. rsync [OPTION]... [USER@]HOST::SRC [DEST]

5. rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

6. rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

rsync有六种不同的工作模式：

1. 拷贝本地文件；当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。

2.使用一个远程shell程序（如rsh、ssh）来实现将本地机器的内容拷贝到远程机器。当

DST路径地址包含单个冒号":"分隔符时启动该模式。

3.使用一个远程shell程序（如rsh、ssh）来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。

4. 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。

5. 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。

6. 列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。

-v, --verbose 详细模式输出 

-q, --quiet 精简输出模式 

-c, --checksum 打开校验开关，强制对文件传输进行校验 

-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD 

-r, --recursive 对子目录以递归模式处理 

-R, --relative 使用相对路径信息

rsync foo/bar/foo.c remote:/tmp/

Rsync 参数在/tmp目录下创建foo.c文件，而如果使用-R参数：

rsync -R foo/bar/foo.c remote:/tmp/

Rsync 参数会创建文件/tmp/foo/bar/foo.c，也就是会保持完全路径信息。

-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。 

--backup-dir 将备份文件(如~filename)存放在在目录下。 

-suffix=SUFFIX 定义备份文件前缀 

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件) 

-l, --links 保留软链结 

-L, --copy-links 想对待常规文件一样处理软链结 

--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结 

--safe-links 忽略指向SRC路径目录树以外的链结 

-H, --hard-links 保留硬链结 

-p, --perms 保持文件权限 

-o, --owner 保持文件属主信息 

-g, --group 保持文件属组信息 

-D, --devices 保持设备文件信息 

-t, --times 保持文件时间信息 

-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间 

-n, --dry-run现实哪些文件将被传输 

-W, --whole-file 拷贝文件，不进行增量检测 

-x, --one-file-system 不要跨越文件系统边界 

-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节 

-e, --rsh=COMMAND 指定替代rsh的shell程序 

--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息 

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件 

--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件 

--delete 删除那些DST中SRC没有的文件 

--delete-excluded 同样删除接收端那些被该选项指定排除的文件 

--delete-after 传输结束以后再删除 

--ignore-errors 及时出现IO错误也进行删除 

--max-delete=NUM 最多删除NUM个文件 

--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输 

--force 强制删除目录，即使不为空 

--numeric-ids 不将数字的用户和组ID匹配为用户名和组名 

--timeout=TIME IP超时时间，单位为秒 

-I, --ignore-times 不跳过那些有同样的时间和长度的文件 

--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间 

--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0 

-T --temp-dir=DIR 在DIR中创建临时文件 

--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份 

-P 等同于 --partial 

--progress 显示备份过程 

-z, --compress 对备份的文件在传输时进行压缩处理 

--exclude=PATTERN 指定排除不需要传输的文件模式 

--include=PATTERN 指定不排除而需要传输的文件模式 

--exclude-from=FILE 排除FILE中指定模式的文件 

--include-from=FILE 不排除FILE指定模式匹配的文件 

--version 打印版本信息 

--address 绑定到特定的地址 

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件 

--port=PORT 指定其他的rsync服务端口 

--blocking-io 对远程shell使用阻塞IO 

-stats 给出某些文件的传输状态 

--progress 在传输时现实传输过程 

--log-format=FORMAT 指定日志文件格式 

--password-file=FILE 从FILE中得到密码 

--bwlimit=KBPS 限制I/O带宽，KBytes per second 

-h, --help 显示帮助信息