rsync与inotify实现数据实时同步

简介:

Rsync与Inotify

单一的rsync只可以进行数据同步,单一的inotify只可以实时监控文件,两者结合使用刚好满足数据实时同步的需求,下面就用一个数据发布服务器和两个web服务器实例解析rsync+inotify实现实时同步。

数据发布服务器 192.168.1.5 (rsync+inotify)

web服务器 192.168.1.6 192.168.1.7 (rsync)


首先在web服务器上部署rsync

192.168.1.6配置

[root@localhost~]# yum install -y rsync

[root@localhost~]# mkdir -p /var/www/001

[root@localhost~]# chmod 660 /var/www/001

[root@localhost~]# chown nobody.nobody /var/www/001

[root@localhost~]# vim /etc/rsync.conf

transfer logging = yes

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

uid = nobody

gid = nobody

user chroot = no

ignore errors

read only = no

[web1]

comment = Web comment

path = /var/www/001

auth users = tom

secrets file = /etc/rsyncd.passwd

hosts allow=192.168.1.5

hosts deny=*

list = false

[root@localhost~]# echo "tom:123456" > /etc/rsyncd.passwd

[root@localhost~]# chmod 600 /etc/rsyncd.passwd

[root@localhost~]# rsync --daemon

[root@localhost~]# echo "rsync --daemon" >> /etc/rc.local

[root@localhost~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT

[root@localhost~]# service iptables save


192.168.1.7配置

[root@localhost~]# yum install -y rsync

[root@localhost~]# mkdir -p /var/www/002

[root@localhost~]# chmod 660 /var/www/002

[root@localhost~]# chown nobody.nobody /var/www/002

[root@localhost~]# vim /etc/rsync.conf

transfer logging = yes

log file = /var/log/rsyncd.log

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

uid = nobody

gid = nobody

user chroot = no

ignore errors

read only = no

[web2]

comment = Web comment

path = /var/www/002

auth users = tom

secrets file = /etc/rsyncd.passwd

hosts allow=192.168.1.5

hosts deny=*

list = false

[root@localhost~]# echo "tom:123456" > /etc/rsyncd.passwd

[root@localhost~]# chmod 600 /etc/rsyncd.passwd

[root@localhost~]# rsync --daemon

[root@localhost~]# echo "rsync --daemon" >> /etc/rc.local

[root@localhost~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT

[root@localhost~]# service iptables save


接着在数据发布服务器下载inotify-tool,安装rsync和inotify (192.168.1.5)

[root@localhost~]# yum install -y rsync

[root@localhost~]# yum install -y automake libtool

[root@localhost~]# cd /home/soft/inotify-tools-master

[root@localhost inotify-tools-master~]# ./configure

[root@localhost inotify-tools-master~]# make && make install

[root@localhost~]# echo "123456" > /root/rsync.pass

[root@localhost~]# chmod 600 /root/rsync.pass

[root@localhost~]# vim rsync_notify.sh

#!/bin/bash

export PATH=/bin:/usr/bin:/usr/local/bin

SRC=/home/webdata/

DEST1=web1

DEST2=web2

Client1=192.168.1.6

Client2=192.168.1.7

User=tom

Passfile=/root/rsync.pass

[ ! -e $Passfile ] && exit 2

inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w%f %e' --event modify,create,delete,attrib $SRC|while read line

do

echo "$line" > /var/log/inotify_web 2>&1

/usr/bin/rsync -avz --delete --progress --password-file=$Passfile $SRC ${User}@$Client1::$DEST1 >> /var/log/sync_web1 2>&1

/usr/bin/rsync -avz --delete --progress --password-file=$Passfile $SRC ${User}@$Client2::$DEST2 >> /var/log/sync_web2 2>&1

done &

[root@localhost~]# chmod a+x rsync_notify.sh

[root@localhost~]# ./rsync_notify.sh

[root@localhost~]# echo "/root/rsync_notify.sh" /etc/rc.local


inotifywait用法

inotifywait [-hcmrq] [-e ] [-t ] [--format ] [--timefmt ] [ ... ]
参数:
-h,–help
输出帮助信息
@
排除不需要监视的文件,可以是相对路径,也可以是绝对路径。
–fromfile 
从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头。
-m, –monitor
接收到一个事情而不退出,无限期地执行。默认的行为是接收到一个事情后立即退出。
-d, –daemon
跟–monitor一样,除了是在后台运行,需要指定–outfile把事情输出到一个文件。也意味着使用了–syslog。
-o, –outfile 
输出事情到一个文件而不是标准输出。
-s, –syslog
输出错误信息到系统日志
-r, –recursive
监视一个目录下的所有子目录。
-q, –quiet
指定一次,不会输出详细信息,指定二次,除了致命错误,不会输出任何信息。
–exclude 
正则匹配需要排除的文件,大小写敏感。
–excludei 
正则匹配需要排除的文件,忽略大小写。
-t , –timeout 
设置超时时间,如果为0,则无限期地执行下去。
-e , –event 
指定监视的事件。
-c, –csv
输出csv格式。
–timefmt 
指定时间格式,用于–format选项中的%T格式。
–format 
指定输出格式。
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由–timefmt定义的时间格式













本文转自super李导51CTO博客,原文链接:http://blog.51cto.com/superleedo/1889742 ,如需转载请自行联系原作者


相关文章
|
9月前
|
机器学习/深度学习 数据采集 计算机视觉
《深度学习:图像质量提升的魔法钥匙》
在数字化时代,图像质量常受噪声、雾气等因素影响。深度学习通过卷积神经网络(CNN)、自动编码器和生成对抗网络(GAN)等技术,为图像去噪、去雾和增强提供了高效解决方案。CNN自动提取特征,去除噪声和雾气;自动编码器通过低维表示重构图像;GAN通过对抗训练生成高质量图像。实践中需注重数据预处理、选择合适架构、模型训练及评估优化,以提升图像质量。深度学习正不断推动图像处理技术的进步。
339 21
|
计算机视觉 网络架构
【YOLOv10改进-特征融合】YOLO-MS MSBlock : 分层特征融合策略
YOLOv10专栏介绍了YOLO-MS,一个优化多尺度目标检测的高效框架。YOLO-MS通过MS-Block和异构Kernel选择提升性能,平衡了计算复杂度与准确性。它在不依赖预训练的情况下,在COCO上超越同类模型,如YOLO-v7和RTMDet。MS-Block包含不同大小卷积的分支,用于增强特征表示。代码示例展示了MSBlock类的定义,用于处理不同尺度特征。该模块可应用于其他YOLO模型以提升性能。更多详情和配置参见相关链接。
|
网络协议 安全 Linux
配置vsftpd服务
FTP是TCP/IP协议族中的应用层协议,用于可靠地传输文件,基于C/S架构,使用20(数据)和21(命令)端口。有两种传输模式:主动模式,客户端告知服务器数据端口,服务器发起连接;被动模式,服务器响应客户端的PASV命令,客户端建立数据连接。安装Linux的vsftpd服务涉及`yum install vsftpd`,创建用户,重启服务并设置开机启动。配置文件`vsftpd.conf`可调整访问权限和行为。通过FTP命令如`help`,`get`,`put`进行文件操作。匿名用户模式可允许无密码访问,需修改配置文件开启。
530 0
|
SQL jenkins Linux
一篇文章了解开源 FTP 服务器 vsftpd
一篇文章了解开源 FTP 服务器 vsftpd
|
前端开发 JavaScript Java
SpringBoot 统一功能处理:用户登录权限校验-拦截器、异常处理、数据格式返回
本篇将要学习 Spring Boot 统一功能处理模块,这也是 AOP 的实战环节 用户登录权限的校验实现接口 HandlerInterceptor + WebMvcConfigurer 异常处理使用注解 @RestControllerAdvice + @ExceptionHandler 数据格式返回使用注解 @ControllerAdvice 并且实现接口 @ResponseBodyAdvice
1609 1
|
Windows uml
System Error. Code:1722. RPC服务器不可用解决办法
原文链接(转载请注明出处):System Error. Code:1722. RPC服务器不可用解决办法 问题 最近在软件设计上机课的时候,使用 starUML 建模工具画UML图的时候总是弹出一条如下信息 虽然是错误,但是点击确定后软件能正常使用,可是这样还是不太好。
2812 0
|
Web App开发 监控 应用服务中间件
inotify + rsync 使用触发同步机制 实现文件 "实时同步"
 公司一套系统的同步使用的donotify,不能实现子目录的实时同步,通过查资料,发现inotify可以实现子目录的实时同步,以下为笔记。
1043 0
|
4天前
|
弹性计算 运维 搜索推荐
三翼鸟携手阿里云ECS g9i:智慧家庭场景的效能革命与未来生活新范式
三翼鸟是海尔智家旗下全球首个智慧家庭场景品牌,致力于提供覆盖衣、食、住、娱的一站式全场景解决方案。截至2025年,服务近1亿家庭,连接设备超5000万台。面对高并发、低延迟与稳定性挑战,全面升级为阿里云ECS g9i实例,实现连接能力提升40%、故障率下降90%、响应速度提升至120ms以内,成本降低20%,推动智慧家庭体验全面跃迁。