AI 助理
文档备案控制台
开发者社区 开发与运维 文章 正文

7.linux同步服务器 rsync+sersync的配置

2017-11-23 1395
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

实现目标：将主机A(192.168.239.128)下的一个目录，同步到主机B(192.168.239.130)下的一个目录，并对A主机进行监控，当A主机该目录下的文件发生变化立即同步至主机B中。


1.安装rsync

rsync安装很简单，不管是同步端机器还是被同步端机器，都只需安装rsync包既可，如果配置了yum源，可直接使用yum安装，命令如下：

# yum -y install rsync

2.启动rsync

启动rsync的方法很简单，有以下两种方法，推荐使用第二种方法：

方法一：--daemon参数方式，是让rsync以服务器模式运行，命令如下：

启动

# /usr/bin/rsync --daemon --config=/etc/rsyncd.conf

查看端口

# netstat -tulnp | grep rsync

tcp   0    0 0.0.0.0:873     0.0.0.0:*        LISTEN      27064/rsync         

tcp   0     0 :::873         :::*             LISTEN      27064/rsync

 

注释：--config用于指定rsyncd.conf的位置，如果默认在/etc目录下默认可以不用指定

方法二：xinetd监管，只需将/etc/xinetd.d/rsync文件中的disable = yes 改为no即可，如下：

# default: off

# description: The rsync server is a good addition to an ftp server, as it \

#       allows crc checksumming etc.

service rsync

{

        disable         = no         #将yes改为no

        flags           = IPv6

        socket_type     = stream

        wait            = no

        user            = root

        server          = /usr/bin/rsync

        server_args     = --daemon

        log_on_failure  += USERID

}

然后启动xinetd服务

# service  xinetd start

Starting xinetd:              [  OK  ]

查看端口，会发现rsync并没有监听，但是xinetd监听了873端口

# netstat -tulnp | grep rsync

# netstat -tulnp | grep 873

tcp    0     0 :::873        :::*         LISTEN      28245/xinetd

修改/etc/xinetd.d/rsync主要是要打开rsync这个daemon, 一旦有rsync client要连接时, xinetd会把它转移给 rsyncd(port 873)



第一部分：B服务器端

1.配置文件参数说明

全局参数

说明

motd file

定义服务器信息，需自己编辑，默认没有，也可不配置

pid file

PID文件，默认没有，一般指定为：/var/run/rsyncd.pid

port

端口，默认指定为873

address

指定服务器IP地址

模块参数

说明

comment

描述信息，自定义

path

需要同步的目录路径

use chroot

如果为yes，rsync进程将chroot 到文件系统中的目录中，好处是保护系统被安装漏洞侵袭的可能。缺点是需要超级用户权限。另外对符号链接文件，将会排除在外。

max connetions

允许客户端最大链接数，0表示无限制

log file

日志文件，一般设定为：/var/log/rsync.log

lock file

锁文件，用来记录最大连接数，默认是/var/lock/rsyncd.lock

read only

只读，默认为yes，表示不让客户端上传文件到服务器

write only

只写，默认为no，表示客户端可以下载文件，yes表示不能下载

list

列出服务器上提供同步的数据目录，默认为yes

uid

服务器传输文件时使用哪个用户执行，默认是nobody，如果遇到权限文件，可能需要root用户

gid

服务器传输文件时使用哪个用户组执行，默认是nobody

exclude

排除不需要同步的目录或文件，多个用空格隔开

auth users

认证用户，必须是服务器上存在的用户

secrets file

指定密码文件路径

strict modes

是否检查密码文件权限，拥有组和其他人必须为0

hosts allow

允许哪些地址可以同步，可以是IP或网段，多个用空格隔开

hosts deny

拒绝哪些地址的同步，可以是IP或网段，多个用空格隔开

ignore errors

忽略IO错误

log format

日志格式

timeout

超时时间



2.B服务器端操作步骤

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
（1）准备步骤
mkdri  /data/         #创建一个目录，接受来自A主机的文件或目录
useradd  rsync         #增加一个用户，用于启动进程传输文件，也可以使用root
chown  -R  rsync : rsync  /data   #修改目录属性
 
 
（2）创建配置文件
vim  /etc/rsyncd .conf 
 
##rsync.conf config start
uid =  rsync
gid =  rsync
use chroot = no    
max connetctions = 200
timeout = 100
pid  file  =  /var/run/rsyncd .pid
lock  file  =  /var/run/rsync .lock
log  file  =  /var/log/rsyncd .log
 
[backup]
path =  /data/
ignore errors
read  only = no
list = no
hosts allow = 192.168.239.128
auth  users  = rsync_backup
secrets  file  =  /etc/rsync .password
##rsync config  end   
 
chmod   600  /etc/rsyncd .conf
 
（3）创建密码文件：
echo  "rsync_backup:123456" > /etc/rsync .password
 
chmod  600  /etc/rsync .password
 
 
（4）启动服务：
rsync  --daemon
 
（5）设置开机自启 rsync 服务：
vim  /etc/rc . local
添加
# rsync server progress
/usr/bin/rsync  --daemon






第二部分：A客户端操作步骤

1
2
3
4
5
6
7
8
9
10
（1）配置密码文件：
echo  "123456" > /etc/rsync .password
chmod  600  /etc/rsync .password
 
（2）手工测试数据推送：
rsync  -avzP  /etc/hosts  rsync_backup@192.168.239.130::backup --password- file = /etc/rsync .password
 
#传输一个文件到B上，看是否成功！
 
在B服务器端进行查看，客户端的 /etc/hosts 文件已经同步至备份的服务器中。


（3）在A客户端部署sersync服务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
1、查看服务器内核是否支持inotify
ll  /proc/sys/fs/inotify 
 
2、修改inotify默认参数（inotify默认内核参数值太小）
查看系统默认参数值：
sysctl -a |  grep  max_queued_events
结果是：fs.inotify.max_queued_events = 16384
sysctl -a |  grep  max_user_watches
结果是：fs.inotify.max_user_watches = 8192
sysctl -a |  grep  max_user_instances
结果是：fs.inotify.max_user_instances = 128
 
修改参数：
sysctl -w fs.inotify.max_queued_events= "99999999"
sysctl -w fs.inotify.max_user_watches= "99999999"
sysctl -w fs.inotify.max_user_instances= "65535"
 
 
vi  /etc/sysctl .conf  #添加以下代码
fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535
:wq!  #保存退出
 
 
 
3.下载sersync
下载地址：https: //storage .googleapis.com /google-code-archive-downloads/v2/code .google.com /sersync/sersync2 .5.4_64bit_binary_stable_final. tar .gz
 
 
4.配置sersync
#上传软件至A服务器上：
     sftp > put D:/软件/常用软件包 /sersync2 .5.4_64bit_binary_stable_final. tar .gz
#解压文件到对应目录：
     tar  zxvf sersync2.5.4_64bit_binary_stable_final. tar .gz -C  /usr/local/
#进入对应目录修改目录名：
     cd    /usr/local/
     mv  GNU-Linux-x86 sersync
#复制配置文件
     cd  sersync/
     cp  -a confxml.xml{,.` date  +%F`}    
 
   
#修改配置文件部分
  
#第1部分：设置本地监控的同步目录、远端服务器、备份模块（备份模块在远端服务器/etc/rsyncd.conf定义）
  <localpath  watch = "/data/" >
      <remote ip= "192.168.239.130"  name= "backup" />
      #<!--<remote ip="192.168.8.39" name="tongbu"/>-->
      #<!--<remote ip="192.168.8.40" name="tongbu"/>-->
  < /localpath >
 
#第2部分：设置认证部分、服务器端的认证用户与密码文件存放位置（在远端服务器/etc/rsyncd.conf定义）
  < rsync >
      <commonParams params= "-artuz" />
      <auth start= "true"  users = "rsync_backup"  passwordfile= "/etc/rsync.password" />
      <userDefinedPort start= "false"  port= "874" /><!-- port=874 -->
      <timeout start= "true"  time = "100" /><!-- timeout=100 -->
      < ssh  start= "false" />
  < /rsync >
 
类似于 rsync  -avzP  /etc/hosts   rsync_backup@192.168.239.130::backup --password- file = /etc/rsync .password
 
#第3部分：设置同步失败日志存放位置，当同步失败时记录下来，并且每60分钟对失败的log进行重新同步
<failLog path= "/tmp/rsync_fail_log.sh"  timeToExecute= "60" /><!--default every 60mins execute once-->
         < crontab  start= "true"  schedule= "600" ><!--600mins-->

修改完成后，完整的配置文件如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
cat  /usr/local/sersync/confxml .xml
<?xml version= "1.0"  encoding= "ISO-8859-1" ?>
< head  version= "2.5" >
     <host hostip= "localhost"  port= "8008" >< /host >
     <debug start= "false" />
     <fileSystem xfs= "false" />
     <filter start= "false" >
         <exclude expression= "(.*)\.svn" >< /exclude >
         <exclude expression= "(.*)\.gz" >< /exclude >
         <exclude expression= "^info/*" >< /exclude >
         <exclude expression= "^static/*" >< /exclude >
     < /filter >
     <inotify>
         <delete start= "true" />
         <createFolder start= "true" />
         <createFile start= "false" />
         <closeWrite start= "true" />
         <moveFrom start= "true" />
         <moveTo start= "true" />
         <attrib start= "false" />
         <modify start= "false" />
     < /inotify >
 
     <sersync>
         <localpath  watch = "/data/" >
             <remote ip= "192.168.239.130"  name= "backup" />
             <!--<remote ip= "192.168.8.39"  name= "tongbu" />-->
             <!--<remote ip= "192.168.8.40"  name= "tongbu" />-->
         < /localpath >
         < rsync >
             <commonParams params= "-artuz" />
             <auth start= "true"  users = "rsync_backup"  passwordfile= "/etc/rsync.password" />
             <userDefinedPort start= "false"  port= "874" /><!-- port=874 -->
             <timeout start= "false"  time = "100" /><!-- timeout=100 -->
             < ssh  start= "false" />
         < /rsync >
         <failLog path= "/tmp/rsync_fail_log.sh"  timeToExecute= "60" /><!--default every 60mins execute once-->
         < crontab  start= "true"  schedule= "600" ><!--600mins-->
             <crontabfilter start= "false" >
                 <exclude expression= "*.php" >< /exclude >
                 <exclude expression= "info/*" >< /exclude >
             < /crontabfilter >
         < /crontab >
         <plugin start= "false"  name= "command" />
     < /sersync >
 
     <plugin name= "command" >
         <param prefix= "/bin/sh"  suffix= ""  ignoreError= "true" />  <!--prefix  /opt/tongbu/mmm .sh suffix-->
         <filter start= "false" >
             <include expression= "(.*)\.php" />
             <include expression= "(.*)\.sh" />
         < /filter >
     < /plugin >
 
     <plugin name= "socket" >
         <localpath  watch = "/opt/tongbu" >
             <deshost ip= "192.168.138.20"  port= "8009" />
         < /localpath >
     < /plugin >
     <plugin name= "refreshCDN" >
         <localpath  watch = "/data0/htdocs/cms.xoyo.com/site/" >
             <cdninfo domainname= "ccms.chinacache.com"  port= "80"  username= "xxxx"  passwd = "xxxx" />
             <sendurl base= "http://pic.xoyo.com/cms" />
             <regexurl regex= "false"  match= "cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images" />
         < /localpath >
     < /plugin >
< /head >

（4）设置sersync监控开机自动执行

1
2
vi  /etc/rc .d /rc . local   #编辑，在最后添加一行
/usr/local/sersync/sersync2  -d -r -o   /usr/local/sersync/confxml .xml  ＃设置开机自动运行脚本


（5）添加脚本监控sersync是否正常运行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
vi   /root/check_sersync .sh   #编辑，添加以下代码
#!/bin/bash
sersync= "/usr/local/sersync/sersync2"
confxml= "/usr/local/sersync/confxml.xml"
status=$( ps  aux | grep  'sersync2' | grep  - v  'grep' | wc  -l)
if  [ $status - eq  0 ];
then
$sersync -d -r -o $confxml &
else
exit  0;
fi
 
chmod  +x  /root/check_sersync .sh  #添加脚本执行权限
 
vi  /etc/crontab  #编辑，在最后添加下面一行
* /5  * * * * root  /root/check_sersync .sh >  /dev/null  2>&1   #每隔5分钟执行一次脚本
 
service crond reload   #重新加载服务



（6）客户端进行验证，在同步的服务器上进行查看

1
2
cd  /data/
for  i  in  ` seq  100`; do  mkdir  $i; done




补充：sersync命令参数详解

1.命令参数说明

Sersync参数 说明
./sersync -r

-r参数作用是：开启实时监控的之前对主服务器目录与远程目标机器的目录进行一次整体同步；如果需要将sersync运行前，主服务器目录下已经存在的所有文件或目录全部同步到远端，则要以 -r参数运行sersync，将本地与远程整体同步一次；

提别说明：如果设置了过滤器，即在xml文件中，filter为true，则暂时不能使用-r参数进行整体同步；
./sersync -o xx.xml

不指定 -o参数： sersync使用sersync可执行文件目录下的默认配置文件confxml.xml

指定 -o 参数：可以指定多个不同的配置文件，从而实现sersync多进程多实例的数据同步
./sersync -n num

-n参数为：指定默认的线程池的线程总数；

例如： ./sersync -n 5 则指定线程总数为5，如果不指定，默认启动线程池数量是10，如果cpu使用过高，可以通过该参数调低，如果机器配置较高，可以调高默认的线程总数，提升同步效率；
./sersync -d -d参数为：后台服务，通常情况下使用 -r参数对本地到远端整体同步一遍后，在后台运行此参数启动守护进程实时同步；在第一次整体同步时，-d 和 -r参数经常会联合使用；

./sersync -m

pluginName

-m参数：不进行同步，只运行插件 ./sersync -m pluginName

例如：./sersync -m command，则在监控到事件后，不对远程目标服务器进行同步，而是直接运行command插件
组合命令使用说明：
-n 8 -o liubl.xml -r -d 多个参数可以配合使用，例如：./sersync -n 16 -o config.xml -r -d 表示设置线程池工作线程为16个，指定liubl.xml作为配置文件，在实时监控前 做一次整体同步，以守护进程方式在后台运行；
./sersync --help 很遗憾，它没有查看帮助（需要的话2条路，要么看源代码，要么自测求验证）



2.sersync服务配置文件参数详解：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1.xml配置文件的注释不用“ #”，而是<!-- 中间是注释内容 -->
 
2.Debug开启开关：<debug start= "false" /> 
     设置为 true ，表示开启debug模式，会在sersync正在运行的控制台打印inotify时间与 rsync 同步命令；
 
3.XFS文件系统开关：<fileSystem xfs= "false" />
     对于xfs文件系统的用户，需要将这个选项开启，才能使用sersync正常工作；
 
4.filter文件过滤功能
     <filter start= "false" >
              <exclude expression= "(.*)\.svn" >< /exclude >
              <exclude expression= "(.*)\.gz" >< /exclude >
              <exclude expression= "^info/*" >< /exclude >
             <exclude expression= "^static/*" >< /exclude >
      < /filter >
     排除一些文件，不需要
      
5.inotify的状态
<inotify>
         <delete start= "true" />
         <createFolder start= "true" />
         <createFile start= "false" />
         <closeWrite start= "true" />
         <moveFrom start= "true" />
         <moveTo start= "true" />
         <attrib start= "false" />
         <modify start= "false" />
     < /inotify >
对于大多数应用，可以尝试把createFile（监控文件事件选项）设置为 false 来提高性能，减少 rsync 通讯；
因为拷贝文件到监控目录会产生create事件与close_write事件，所以如果关闭create事件，只监控文件拷贝结束时的时间close_write，同样可以实现文件完整同步；
注意：强将creatFolder保持为 true ，如果将createFolder设为 false ，则不会对产生的目录进行监控，该目录下的子文件与子目录也不会被监控；所以除非特殊需要，请开启； 默认情况下对创建文件（目录）事件与删除文件（目录）事件都进行监控，如果项目中不需要删除远程目标服务器的文件（目录），则可以将delete参数设置为 false ，则不对删除事件进行监控；


参考：http://www.osyunwei.com/archives/7447.html

本文转自   a8757906   51CTO博客，原文链接:http://blog.51cto.com/nxyboy/1940413


文章标签：
监控
Linux
网络协议
Java
Shell
技术小牛人
目录
相关文章
上云就上阿狸云
|
弹性计算 安全 Linux
阿里云服务器ECS安装宝塔Linux面板、安装网站（新手图文教程）
本教程详解如何在阿里云服务器上安装宝塔Linux面板，涵盖ECS服务器手动安装步骤，包括系统准备、远程连接、安装命令执行、端口开放及LNMP环境部署，手把手引导用户快速搭建网站环境。
上云就上阿狸云
8753 3
蓝易云
|
Linux 网络安全 数据安全/隐私保护
使用Linux系统的mount命令挂载远程服务器的文件夹。
如此一来，你就完成了一次从你的Linux发车站到远程服务器文件夹的有趣旅行。在这个技术之旅中，你既探索了新地方，也学到了如何桥接不同系统之间的距离。
蓝易云
2224 21
蓝易云
|
Java Linux 网络安全
Linux云端服务器上部署Spring Boot应用的教程。
此流程涉及Linux命令行操作、系统服务管理及网络安全知识，需要管理员权限以进行配置和服务管理。务必在一个测试环境中验证所有步骤，确保一切配置正确无误后，再将应用部署到生产环境中。也可以使用如Ansible、Chef等配置管理工具来自动化部署过程，提升效率和可靠性。
蓝易云
1197 13
蓝易云
|
Ubuntu Linux 网络安全
在Linux云服务器上限制特定IP进行SSH远程连接的设置
温馨提示，修改iptables规则时要格外小心，否则可能导致无法远程访问你的服务器。最好在掌握足够技术知识和理解清楚操作含义之后再进行。另外，在已经配置了防火墙的情况下，例如ufw(Ubuntu Firewall)或firewalld，需要按照相应的防火墙的规则来设置。
蓝易云
788 24
小木三
|
安全 Linux
阿里云linux服务器使用脚本通过安全组屏蔽异常海外访问ip
公网网站可能会遭受黑客攻击导致访问异常，使用此脚本可以屏蔽掉异常IP 恢复访问。也可自行设置定时任务定期检测屏蔽。
小木三
986 28
弹性计算小冉
|
存储 安全 Ubuntu
从Linux到Windows：阿里云服务器系统镜像适配场景与选择参考
阿里云为用户提供了丰富多样的服务器操作系统选择，以满足不同场景下的应用需求。目前，云服务器的操作系统镜像主要分为公共镜像、自定义镜像、共享镜像、镜像市场和社区镜像五大类。以下是对这些镜像类型的详细介绍及选择云服务器系统时需要考虑的因素，以供参考。
弹性计算小冉
730 7
34789737
|
监控 Linux 网络安全
FinalShell SSH工具下载,服务器管理,远程桌面加速软件,支持Windows,macOS,Linux
FinalShell是一款国人开发的多平台SSH客户端工具，支持Windows、Mac OS X和Linux系统。它提供一体化服务器管理功能，支持shell和sftp同屏显示，命令自动提示，操作便捷。软件还具备加速功能，提升访问服务器速度，适合普通用户和专业人士使用。
34789737
3979 0
刘大猫.
|
Linux
Linux下版本控制器(SVN) -服务器端环境搭建步骤
Linux下版本控制器(SVN) -服务器端环境搭建步骤
刘大猫.
606 0
Linux下版本控制器(SVN) -服务器端环境搭建步骤
蓝易云
|
存储 安全 Linux
Linux服务器上安装配置GitLab的步骤。
按照以上步骤，一个基础的GitLab服务应该运行并可以使用。记得定期检查GitLab官方文档，因为GitLab的安装和配置步骤可能随着新版本而变化。
蓝易云
1123 0
1436047922066202
|
数据挖掘 Linux 数据库
服务器数据恢复—Linux系统服务器数据恢复案例
服务器数据恢复环境： linux操作系统服务器中有一组由4块SAS接口硬盘组建的raid5阵列。 服务器故障： 服务器工作过程中突然崩溃。管理员将服务器操作系统进行了重装。 用户方需要恢复服务器中的数据库、办公文档、代码文件等。
1436047922066202
800 1

热门文章

最新文章

  • 1
    linux cp命令参数及用法详解---linux 复制文件命令cp
  • 2
    Linux系统禁用swap
  • 3
    Linux下查看文件和文件夹大小
  • 4
    Linux shell multifile content replace with sed
  • 5
    linux下安装mysql的问题解决
  • 6
    Windows、Linux、Mac安装数据库（mysql、MongoDB、Redis）#0
  • 7
    Linux常用知识点与问题解答
  • 8
    Linux下修改IP
  • 9
    linux tar详解
  • 10
    ☀️测试需掌握Linux命令及在测试中的应用场景【高频面试版】☀️
  • 1
    阿里云服务器多少钱一年？亲自整理ECS、轻量和GPU服务器租赁价格表
    2370
  • 2
    阿里云轻量应用服务器实例：通用型、多公网IP型、CPU优化、国际及容量型区别对比
    1666
  • 3
    阿里云服务器2核4G/4核8G/8核16G配置价格、可选实例区别与选型指南参考
    2358
  • 4
    阿里云渠道商：服务器操作系统怎么选？
    983
  • 5
    阿里云轻量应用服务器38元1年和云服务器99元1年怎么选？二者性能区别及选择参考
    983
  • 6
    硅谷GPU单节点服务器：技术解析与应用全景
    613
  • 7
    阿里云渠道商：云服务器价格有什么变动？
    440
  • 8
    阿里云渠道商：如何挑选阿里云服务器配置？
    393
  • 9
    阿里云服务器五代至九代实例规格详解及性能提升对比，场景适配与选择指南参考
    998
  • 10
    租用阿里云服务器一年要多少钱？ECS、轻量和GPU服务器租赁价格，手动整理
    1809

    • 相关课程

    更多
  • Linux软件包安装和yum仓库实战
  • Linux文件管理命令
  • Linux Web服务器Nginx搭建与配置
  • 7天玩转云服务器
  • 云服务器选型、迁云最佳实践
  • 云服务器ECS基本操作

    • 相关电子书

    更多
  • 如何运维千台以上游戏云服务器
  • 网站/服务器取证 实践与挑战
  • ECS计算与存储分离架构实践

    • 推荐镜像

    更多
  • mxlinux-iso
  • archlinuxarm
  • archlinuxcn
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！