备案控制台
探索云世界
开发者社区 大数据与机器学习 文章 正文

Linxu服务器文件双向同步-rsync+sersync

2023-12-25 55
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
大数据开发治理平台 DataWorks，不限时长
推荐场景：
Github实时数据分析与可视化
简介： Linxu服务器文件双向同步-rsync+sersync

Linxu服务器文件双向同步 rsync+sersync

[toc]

基础信息

系统：Centos7.8

  • 服务器信息
服务器 IP
test21 10.8.10.21
test22 10.8.10.22
  • 软件版本信息
软件包 版本
rsync
sersync

Rsync安装包下载地址：https://github.com/WayneD/rsync/releases

sersync下载地址：https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

安装

rsync

安装

查看是否已经安装

rpm -qa | grep rsync

安装

yum -y install rsync

配置

  • 修改test21服务器文件/etc/rsyncd.conf
# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:

uid = root      # 指定运行rsync daemon的用户
gid = root      # 指定运行rsync daemon的组
use chroot = no
address = 10.8.10.21 # 指定监听地址
port = 873      # 默认监听端口
max connections = 0     #最大连接数，0为无限制
pid file = /var/run/rsyncd.pid  # 指定pid文件
log file = /var/log/rsyncd.log # 指定日志文件
exclude = lost+found/   # 指定不同步的目录
ignore errors
#transfer logging = yes
#timeout = 900
#ignore nonreadable = yes
#dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# [ftp]
#        path = /home/ftp
#        comment = ftp export area
[update]        # update模块
path = /root/updatedir  # update模块需要同步目录
comment = test rsync + sersync  # update模块的简要说明
read only = no  # 是否只读
list = no       # 当用户查询该服务器上的可用模块时，是否列出该模块
auth users = rsync_daemon        # 同步文件使用到的虚拟用户
secrets file = /etc/rsync_update.passwd # 指定该虚拟用户对应的密码文件，该文件权限为(400)
hosts allow = 10.8.10.22     # 指定可以连接该模块的主机（x.x.x.x x.x.x.x/x）
  • 修改test22服务器文件/etc/rsyncd.conf
# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:

uid = root      # 指定运行rsync daemon的用户
gid = root      # 指定运行rsync daemon的组
use chroot = no
address = 10.8.10.22 # 指定监听地址
port = 873      # 默认监听端口
max connections = 0     #最大连接数，0为无限制
pid file = /var/run/rsyncd.pid  # 指定pid文件
log file = /var/log/rsyncd.log # 指定日志文件
exclude = lost+found/   # 指定不同步的目录
ignore errors
#transfer logging = yes
#timeout = 900
#ignore nonreadable = yes
#dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# [ftp]
#        path = /home/ftp
#        comment = ftp export area
[update]        # update模块
path = /root/updatedir  # update模块需要同步目录
comment = test rsync + sersync  # update模块的简要说明
read only = no  # 是否只读
list = no       # 当用户查询该服务器上的可用模块时，是否列出该模块
auth users = rsync_daemon        # 同步文件使用到的虚拟用户
secrets file = /etc/rsync_update.passwd # 指定该虚拟用户对应的密码文件，该文件权限为(400)
hosts allow = 10.8.10.21     # 指定可以连接该模块的主机（x.x.x.x x.x.x.x/x）

根据配置文件创建相应的目录、文件、防火墙规则

创建需要同步的目录

在两个服务器上分别创建需要同步的目录

[root@test21 ~]# mkdir /root/updatedir
[root@test22 ~]# mkdir /root/updatedir

创建同步用户

创建虚拟用户rsync_daemon使用的密码文件/etc/rsync_update.passwd

该文件的权限必须为400

[root@test21 ~]# echo "rsync_daemon:123456789" > /etc/rsync_update.passwd
[root@test21 updatedir]# chmod 400 /etc/rsync_update.passwd
[root@test22 ~]# echo "rsync_daemon:123456789" > /etc/rsync_update.passwd
[root@test22 updatedir]# chmod 400 /etc/rsync_update.passwd

防火墙

这里我是关闭了防火墙，如果防火墙开启，防火墙规则要将873端口加入

启动rsyncd服务

[root@test21 ~]# systemctl start rsyncd
[root@test22 ~]# systemctl start rsyncd
  • 查看端口
[root@test21 /]# ss -antuple | grep 873
tcp    LISTEN     0      5      10.8.10.21:873                   *:*                   users:(("rsync",pid=14221,fd=3)) ino:72483 sk:ffff8800b7d75d00 <->

[root@test22 ~]# ss -antuple | grep 873
tcp    LISTEN     0      5      10.8.10.22:873                   *:*                   users:(("rsync",pid=1735,fd=3)) ino:29740 sk:ffff880226eb87c0 <->

测试

  • test21向test22同步
[root@test21 updatedir]# ls
[root@test21 updatedir]# touch file{1..5}
[root@test21 updatedir]# rsync -av /root/updatedir/ rsync_daemon@10.8.10.22::update
Password: 
sending incremental file list
./
file1
file2
file3
file4
file5

sent 314 bytes  received 114 bytes  171.20 bytes/sec
total size is 0  speedup is 0.00

test22服务器查看

[root@test22 updatedir]# ls
file1  file2  file3  file4  file5
  • test22向test21同步
# 创建file6 - file10 空文件
[root@test22 updatedir]# touch file{6..10}
# 文件同步
[root@test22 updatedir]# rsync -av /root/updatedir/ rsync_daemon@10.8.10.21::update
Password: 
sending incremental file list
./
file10
file6
file7
file8
file9

sent 388 bytes  received 114 bytes  111.56 bytes/sec
total size is 0  speedup is 0.00

test21服务器查看

[root@test21 updatedir]# ls
file1  file10  file2  file3  file4  file5  file6  file7  file8  file9

rsync数据同步成功，我们可以设置linxu定时任务crontab每隔一段时间自动双向同步文件。

异常处理

  • 提示权限不足

test22发送到test21可以正常发送，test21发送到test22无法发送

[root@test21 updatedir]# rsync -av /root/updatedir/ rsync_daemon@10.8.10.22::update
Password: 
sending incremental file list
rsync: failed to set times on "." (in update): Permission denied (13)
./
file1
file2
file3
file4
file5
rsync: mkstemp ".file1.PRynLL" (in update) failed: Permission denied (13)
rsync: mkstemp ".file2.L3Zgd2" (in update) failed: Permission denied (13)
rsync: mkstemp ".file3.t4KaFi" (in update) failed: Permission denied (13)
rsync: mkstemp ".file4.PZF46y" (in update) failed: Permission denied (13)
rsync: mkstemp ".file5.NOJYyP" (in update) failed: Permission denied (13)

报错后查看网上各种资料描述，说是目录权限改为755等，试了之后都不行

随后又增加了一台服务器做测试，发现新增的也不行

[root@test22 etc]# rsync -av /root/updatedir/ root@10.8.10.20::update
Password: 
sending incremental file list
rsync: failed to set times on "." (in update): Permission denied (13)
rsync: recv_generator: failed to stat "123" (in update): Permission denied (13)
./

sent 59 bytes  received 173 bytes  51.56 bytes/sec
total size is 0  speedup is 0.00
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]

后来在stackoverflow发现有大佬提示说selinux问题导致，我们查看服务器配置

参考文献:https://stackoverflow.com/questions/11039559/rsync-mkstemp-failed-permission-denied-13

[root@test21 etc]# getenforce 
Permissive
[root@test20 updatedir]# getenforce
Enforcing
[root@test22 etc]# getenforce
Enforcing

发现的确21和22，20配置不同

修改22，20配置

[root@test20 updatedir]# setenforce 0
[root@test20 updatedir]# getenforce
Permissive

[root@test22 etc]# setenforce 0
[root@test22 etc]# getenforce
Permissive

setenforce 0为临时修改，永久修改vim /etc/sysconfig/selinux

SELINUX=enforcing
修改为
SELINUX=disable 或者 SELINUX=permissive

再次执行发现可以同步成功

[root@test22 etc]# rsync -av /root/updatedir/ root@10.8.10.20::update
Password: 
sending incremental file list
./
123

sent 102 bytes  received 38 bytes  40.00 bytes/sec
total size is 0  speedup is 0.00

[root@test22 etc]# rsync -av /root/updatedir/ root@10.8.10.20::update
Password: 
sending incremental file list
./
123

sent 102 bytes  received 38 bytes  40.00 bytes/sec
total size is 0  speedup is 0.00

sersync

上面安装完成rsync，我们只能通过定时任务触发文件同步，sersync可以对文件的变更进行实时监听，并触发rsync对变更的文件进行实时同步。

安装

下载:[点击下载]

将文件放在两台服务器中,并解压

[root@test22 sersync]# ll
总用量 712
-rw-------. 1 root root 727290 11月 10 13:11 sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@test22 sersync]# pwd
/opt/sersync
[root@test22 sersync]# tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz 
GNU-Linux-x86/
GNU-Linux-x86/sersync2
GNU-Linux-x86/confxml.xml
[root@test22 sersync]# ls GNU-Linux-x86/
confxml.xml  sersync2


[root@test21 sersync]# ll
总用量 712
-rw-------. 1 root root 727290 11月 10 13:11 sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@test21 sersync]# pwd
/opt/sersync
[root@test21 sersync]# tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz 
GNU-Linux-x86/
GNU-Linux-x86/sersync2
GNU-Linux-x86/confxml.xml
[root@test21 sersync]# ls GNU-Linux-x86/
confxml.xml  sersync2

sersync配置

test21配置

内容过多只显示了修改的位置,其他都是默认的

  1. <remote ip="10.8.10.22" name="update"/>

  2. <auth start="true" users="rsync_daemon" passwordfile="/etc/rsync.pas"/>

[root@test21 GNU-Linux-x86]# vim confxml.xml
...
<sersync>
        <localpath watch="/opt/updatedir">
            <remote ip="10.8.10.22" name="update"/>
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->
        </localpath>
        <rsync>
            <commonParams params="-artuz"/>
            <auth start="true" users="rsync_daemon" passwordfile="/etc/rsync.pas"/>
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>
        <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
        <crontab start="false" schedule="600"><!--600mins-->
            <crontabfilter start="false">
                <exclude expression="*.php"></exclude>
                <exclude expression="info/*"></exclude>
            </crontabfilter>
        </crontab>
        <plugin start="false" name="command"/>
    </sersync>
...
  • watch 指定了监控的文件目录
  • remote ip 指定远程rsync服务监听的ip，
  • name 指定了远程rsync服务开启的模块
  • start=“true” 说明远程rsync服务开启了用户密码验证
  • users 指定了远程rsync服务用户密码验证指定的虚拟用户
  • passwordfile 指定了连接远程rsync服务虚拟用户的密码文件，权限需为400，用户自己手动创建

创建密码文件

[root@test21 GNU-Linux-x86]# echo 123456789 > /etc/rsync.pas
[root@test21 GNU-Linux-x86]# chmod 400 /etc/rsync.pas

test22配置

[root@test22 GNU-Linux-x86]# vim confxml.xml
...
<sersync>
        <localpath watch="/opt/updatedir">
            <remote ip="10.8.10.21" name="update"/>
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->
        </localpath>
        <rsync>
            <commonParams params="-artuz"/>
            <auth start="true" users="rsync_daemon" passwordfile="/etc/rsync.pas"/>
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>
        <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
        <crontab start="false" schedule="600"><!--600mins-->
            <crontabfilter start="false">
                <exclude expression="*.php"></exclude>
                <exclude expression="info/*"></exclude>
            </crontabfilter>
        </crontab>
        <plugin start="false" name="command"/>
    </sersync>
...

创建密码文件

[root@test22 GNU-Linux-x86]# echo 123456789 > /etc/rsync.pas
[root@test22 GNU-Linux-x86]# chmod 400 /etc/rsync.pas

sersync启动

test21启动

[root@test21 updatedir]# /opt/sersync/GNU-Linux-x86/sersync2 -d -r -o /opt/sersync/GNU-Linux-x86/confxml.xml
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d     run as a daemon
option: -r     rsync all the local files to the remote servers before the sersync work
option: -o     config xml name：  /opt/sersync/GNU-Linux-x86/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost    host port: 8008
daemon start，sersync run behind the console 
use rsync password-file :
user is    rsync_daemon
passwordfile is     /etc/rsync.pas
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /root/updatedir && rsync -artuz -R --delete ./ rsync_daemon@10.8.10.22::update --password-file=/etc/rsync.pas >/dev/null 2>&1 
run the sersync: 
watch path is: /root/updatedir
  • -d 以后台daemon的方式运行
  • -r 第一次启动时，使用rsync将本地文件全部同步至远程服务器。
  • -o 加载配置文件

test22启动

[root@test22 updatedir]# /opt/sersync/GNU-Linux-x86/sersync2 -d -r -o /opt/sersync/GNU-Linux-x86/confxml.xml
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d     run as a daemon
option: -r     rsync all the local files to the remote servers before the sersync work
option: -o     config xml name：  /opt/sersync/GNU-Linux-x86/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost    host port: 8008
daemon start，sersync run behind the console 
use rsync password-file :
user is    rsync_daemon
passwordfile is     /etc/rsync.pas
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /root/updatedir && rsync -artuz -R --delete ./ rsync_daemon@10.8.10.21::tongbu1 --password-file=/etc/rsync.pas >/dev/null 2>&1 
run the sersync: 
watch path is: /root/updatedir

测试

新增文件

在test21上传一个文件,在test22查看也同时存在

[root@test21 updatedir]# ll
总用量 4
-rw-------. 1 root root 253 11月 10 11:12 1.sh

[root@test22 updatedir]# ll
总用量 4
-rw-------. 1 root root 253 11月 10 11:12 1.sh

修改内容

修改test22

[root@test22 updatedir]# ll
总用量 4
-rw-------. 1 root root 253 11月 10 11:12 1.sh
[root@test22 updatedir]# echo 1 > 1.sh 
[root@test22 updatedir]# ll
总用量 4
-rw-------. 1 root root 2 11月 10 13:59 1.sh
[root@test22 updatedir]# cat 1.sh 
1

查看test21发现修改的内容同步成功

[root@test21 updatedir]# cat 1.sh 
1

删除文件

删除test21文件

[root@test21 updatedir]# rm 1.sh 
rm：是否删除普通文件 "1.sh"？y
[root@test21 updatedir]# ll
总用量 0

在test22 查看发现文件也同步删除

[root@test22 updatedir]# ll
总用量 0
文章标签：
云防火墙
网络安全
数据安全/隐私保护
开发工具
监控
关键词：
云服务器 ECS文件
云服务器 ECS同步
云服务器 ECSrsync
云服务器 ECS同步rsync
云服务器 ECS文件同步rsync sersync
Jast
目录
相关文章
NTP校时服务器
|
2月前
|
定位技术
GPS北斗卫星同步时钟（时间同步服务器）建设施工部署方案
GPS北斗卫星同步时钟（时间同步服务器）建设施工部署方案
NTP校时服务器
122 2
GPS北斗卫星同步时钟（时间同步服务器）建设施工部署方案
sunrr
|
2月前
|
存储 弹性计算 数据可视化
要将ECS中的文件直接传输到阿里云网盘与相册（
【2月更文挑战第31天】要将ECS中的文件直接传输到阿里云网盘与相册（
sunrr
423 4
达芬奇要当程序员
|
2月前
|
Linux 网络安全 Python
如何在服务器上运行python文件
如何在服务器上运行python文件
达芬奇要当程序员
297 1
老秦包你会
|
1天前
|
Apache 项目管理 数据安全/隐私保护
TortoiseSVN客户端如何安装配置并实现公网访问服务端提交文件到本地服务器
TortoiseSVN客户端如何安装配置并实现公网访问服务端提交文件到本地服务器
老秦包你会
10 0
yma16
|
6天前
|
数据采集 前端开发 JavaScript
vue3 + fastapi 实现选择目录所有文件自定义上传到服务器
vue3 + fastapi 实现选择目录所有文件自定义上传到服务器
yma16
12 0
1941623231718325
|
13天前
|
运维 Oracle 关系型数据库
Oracle服务器参数文件：数据王国的“调控大师”
【4月更文挑战第19天】Oracle服务器参数文件，数据库的“调控大师”，掌控着内存管理、进程调度等关键设置。通过参数调整如SGA_MAX_SIZE和PROCESSES，实现性能优化和故障防控。虽然挑战重重，但成功的性能调优带来无尽成就感。它在备份恢复中也扮演重要角色，保障数据一致性与可用性。成为真正的“调控大师”，为数据王国效力！
1941623231718325
14 0
-Feng、冯冯
|
2月前
|
弹性计算 网络协议 网络安全
ECS传输问题之文件直接传输到PDS如何解决
ECS（Elastic Compute Service，弹性计算服务）是云计算服务提供商提供的一种基础云服务，允许用户在云端获取和配置虚拟服务器。以下是ECS服务使用中的一些常见问题及其解答的合集：
-Feng、冯冯
43 3
初九之潜龙勿用
|
2月前
|
安全 数据处理 C#
C# Post数据或文件到指定的服务器进行接收
C# Post数据或文件到指定的服务器进行接收
初九之潜龙勿用
23 0
三分钟热度的鱼
|
2月前
|
消息中间件 关系型数据库 MySQL
Flink CDC产品常见问题之把flink cdc同步的数据写入到目标服务器失败如何解决
Flink CDC（Change Data Capture）是一个基于Apache Flink的实时数据变更捕获库，用于实现数据库的实时同步和变更流的处理；在本汇总中，我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答，目的是辅助用户更好地理解和应用这一技术，优化实时数据处理流程。
三分钟热度的鱼
36 0
1436047922066202
|
2月前
|
存储 数据挖掘
服务器数据恢复—raid5热备盘同步失败的数据恢复案例
一台存储上有一组由多块硬盘组建的raid5阵列，该raid5阵列中的一块硬盘掉线，热备盘自动上线同步数据的过程中，raid阵列中又有一块硬盘掉线，热备盘的数据同步被中断，raid5阵列失效，卷挂载不上，存储瘫痪。 这类raid故障比较常见，服务器raid中的硬盘大多数情况下都是一个批次的同品牌同型号的硬盘，一旦有硬盘出现故障掉线，那么其他硬盘也随时有出故障掉线的可能。
1436047922066202
230 0

大数据与机器学习

热门文章

最新文章

  • 1
    MaxCompute 近实时增全量处理一体化新架构和使用场景介绍
  • 2
    阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）
  • 3
    一文解析 ODPS SQL 任务优化方法原理
  • 4
    给技术新人的ODPS优化建议
  • 5
    阿里云开源离线同步工具DataX3.0介绍
  • 6
    盘古：阿里云飞天分布式存储系统设计深度解析
  • 7
    odps是什么?
  • 8
    拍立淘-以图搜图中的图像搜索算法
  • 9
    【玩转数据系列二】机器学习应用没那么难，这次教你玩心脏病预测
  • 10
    数据仓库介绍与实时数仓案例
  • 1
    Gradformer: 通过图结构归纳偏差提升自注意力机制的图Transformer
    9
  • 2
    文本挖掘基础入门指南
    20
  • 3
    Golang深入浅出之-Goroutine泄漏检测与避免：pprof与debug包
    9
  • 4
    Golang深入浅出之-Go语言中的CSP模型：深入理解并发哲学
    7
  • 5
    Golang深入浅出之-Go语言中的并发模式：Pipeline、Worker Pool等
    11
  • 6
    Golang深入浅出之-Go语言中的反射（reflect）：原理与实战应用
    9
  • 7
    Golang深入浅出之-Go语言代码质量与规范：遵循Gofmt与Linting
    9
  • 8
    10个使用NumPy就可以进行的图像处理步骤
    12
  • 9
    2024年的选择：为什么Go可能是理想的后端语言
    8
  • 10
    Golang深入浅出之-Go语言中的日志记录：log与logrus库
    8

    • 相关课程

    更多
  • ECS上云入门三部曲
  • 服务器硬件基础
  • Linux Web服务器Nginx搭建与配置
  • 7天玩转云服务器
  • 云服务器选型、迁云最佳实践
  • 云服务器ECS基本操作

    • 相关电子书

    更多
  • 如何运维千台以上游戏云服务器
  • 网站/服务器取证 实践与挑战
  • ECS快储存加密技术

    • 相关实验场景

    更多
  • 使用阿里云ECS监控您的特斯拉
  • 使用阿里云ECS安装家用内网穿透服务
  • ECS实例选型最佳实践
  • ECS服务保活和宕机启动
  • 云原生场景自动化响应ECS系统事件
  • 幻兽帕鲁联机服务快速部署【有ECS用户】
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考