Centos7.4 搭建rsync+inotify 实现数据同步

简介: 简介起因因公司全部迁云,配置ECS时需要将Web集群之间配置 数据同步 以及 会话保持,接下来配置在 linux Centos7.4版本的系统操作。优点使用rsync工具和inotify机制相结合,可以实现触发式部署(实时同步),只要原始(主)位置的文档发生变幻,则立即启用增量推送操作,否则处于静态等待状态,这样以来,就避免了分布式集群部署过程复杂的问题。


简介

起因

因公司全部迁云,配置ECS时需要将Web集群之间配置 数据同步 以及 会话保持,接下来配置在 linux Centos7.4版本的系统操作。

优点

使用rsync工具和inotify机制相结合,可以实现触发式部署(实时同步),只要原始(主)位置的文档发生变幻,则立即启用增量推送操作,否则处于静态等待状态,这样以来,就避免了分布式集群部署过程复杂的问题。

架构

项目采用springMvc+Dubbo(负载均衡集群)

这里使用了三台服务器

IP:39.108.227.169 服务器A
IP:39.108.227.170 服务器B
IP:39.108.227.171服务器C 主节点


8a7e554201c1a968b2ba90099e588614.png-wh_


安装配置

一、inotify-slave部署 (服务器A和B)

     IP:39.108.227.169


(1)检查是否安装rsync工具 rpm -aq rsync

[root@lishilong]# rpm -aq rsyncrsync-3.0.9-17.el7.x86_64 
 
  
  2.安装rsync服务
  
 yum intsall rsync -y 安装.如图所示:

2033bf07cdbc9a517e78318f04aeaa2e.png-wh_


( 2 ) 编辑文件 vi /etc/rsyncd.conf

vim /etc/rsyncd.conf 

#工作中指定用户(可以不指定为0)

uid = 0

gid = 0


##相当于黑洞.出错定位

use chroot = no


##有多少个客户端同时传文件

max connections = 200


##超时时间

timeout = 300


##进程号文件

pid file = /var/run/rsyncd.pid


##日志文件

lock file = /var/run/rsync.lock


##日志文件

log file = /var/log/rsyncd.log


##模块开始

##模块名称随便起(可以是多个)

[fdc]


##需要同步的目录

path = /opt/nginx/html


##表示出现错误忽略错误

ignore errors


##表示网络权限可写(本地控制真正可写)

read only = false


##这里设置IP或让不让同步

list = false


##指定允许的网段

hosts allow = 39.108.227.170 


##拒绝链接的地址,一下表示没有拒绝的链接。

hosts deny = 0.0.0.0/32


##不要动的东西(默认情况)

##虚拟用户

auth users = rsynclsl


##虚拟用户的密码文件

secrets file = /etc/rsync.password


注意!粘贴代码之后!要注意(模块名称,同步目录,虚拟用户密码文件。)


3ed9debe34b85ce57f404f811b0dc286.png-wh_


d0cff94a15e970712a6e58034acef7a8.png-wh_


注意!需要在服务器创建一个用户与 vim /etc/rsyncd.conf 虚拟用户名一致。


操作命令如下:

useradd rsynclsl

passwd rsynclsl


cd /home 或者 vim /etc/passwd 下看到你创建的用户


(3)配置虚拟用户的密码文件


         [root@rsync-slave] # echo "rsynclsl:123456" >/etc/rsync.password

         [rppt@rsync-slave] # cat /etc/rsync.password

         rsynclsl:123456                              # rsynclsl为虚拟用户 123456为虚拟用户密码。

         [root@rsync-slave] # chmod 600 /etc/rsync.password #为密码提取,增加安全性。


365e31347d5d3666bfbefed82fd912ed.png-wh_


(4)启动rsync 服务

[root@rsync-slave]#  rsync --daemon   #启动rsync服务  或者 systemctl start rsyncd 启动。

[root@rsync-slave]#  ps -ef | grep rsync

[root@rsync-slave]#  netstat -lnutp | grep rsync

7e93b0e56dd5eb04aa23af7016fa59e2.png-wh_


二、inotify-master配置

     IP:39.108.227.170


(1)查看当前系统是否支持inotify

  [root@rsync-master]#   ll  /proc/sys/fs/inotify

 e6df7cef915f15f9a958ae8b15ac7e66.png-wh_

 解释:/proc/sys/fs/inotify/max_queued_evnets

表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。


/proc/sys/fs/inotify/max_user_instances

表示每一个real user ID可创建的inotify instatnces的数量上限。

/proc/sys/fs/inotify/max_user_watches

表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小。

例如: echo 30000000 > /proc/sys/fs/inotify/max_user_watches


(2)下载inotify源码包并编译安装

inotify是一种强大的、细粒度的、异步的文件系统事件控制机制。linux内核从2.6.13起,加入了inotify支持,通过inotify可以监控文件系统中添加、删除、修改、移动等各种事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools正是实施监控的软件。


注意!下载inotify安装包可以选择我图上的github上下载,或者,选择官方下载。


Github

e47953a50f82b23e5886cc9bd1034543.png-wh_


[root@inotify-master]# wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

[root@inotify-master]# tar zxf inotify-tools-3.14.tar.gz

[root@inotify-master]# cd inotify-tools-3.14

[root@inotify-master inotify-tools-3.14]#   ./configure --prefix=/usr/local/include/   

 [root@inotify-master inotify-tools-3.14]#   make && make install                    


官网:地址  https://sourceforge.net/projects/inotify-tools/


6b80567cab59cbabbb4cdfddcddef00e.png-wh_

(3)安装 rsync安装包可以 rpm 安装 或者 yum 安装。

   命令如下: yum -y install rsync 即可。

 

(4)主节点 inotify_pay.sh 脚本 脚本如下:


872f0d5a37a7f3082613ab205cd19b50.png-wh_


#!/bin/bash

host_slave=39.108.227.169                    #inotify-slave的ip地址

master_src=/opt/nginx/html/                  #本地监控的目录

inotify_home=/usr/local/include/             #inotify的安装目录



${inotify_home}/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e close_write,modify,delete,create,attrib $master_src \

| while read file


do


 rsync -az  --delete   ${master_src}    rsynclsl@${host_slave}::fdc --password-file=/etc/rsync.password   


done


 #注意!模块名称 fdc 要和vim /etc/rsyncd.conf 里面的一致

 #注意!本地监控目录 要和vim /etc/rsyncd.conf 里面的一致

 #注意!inotify的安装目录 要和vim /etc/rsyncd.conf 里面的一致

 #注意!vim /etc/rsync.password 配置文件名称要一致

 #注意!!!!检查 vim /etc/rsync.password 的权限,一定是600

(chmod 600 /etc/rsync.password)!!!


 (5)后台执行脚本 

     [root@inotify-master] # chmod -R 777 inotify.sh  #给予最高权限或者给予相应权限!

     [root@inotify-master] # ./inotify.sh


(6)测试

    注意!进入你配置的监控目录/opt/nginx/html 下创建 文件。

    rsync-master下:

    ip:39.108.227.170

    507b31bbc011d9ff3329ca7777cb6c9b.png-wh_

   inotify-slave下:

   ip:39.108.227.169

   5fdb199ba749a91fb2fe54f54178c172.png-wh_

    

 补充!

 这时候有的运维伙伴该问了?我想两台服务器都可以分别监控服务操作?

 答: 可以两台服务器都互相配置相同的操作,就可以互相监控了!例:如图所示:

 

 e1a4fdba6140586bf849a264ea7b0dee.png-wh_


 总结!这个数据同步并不难,难在脚本,配置文件写错了,要多注意!


目录
相关文章
|
3月前
|
监控 Unix Shell
Rsync+Inotify 实现数据同步
【8月更文挑战第25天】Rsync是一款适用于UNIX和类UNIX系统的高效数据备份工具,支持本地与远程数据复制。通过识别数据变更实现增量备份,减少网络传输量,提升效率。利用SSH加密保障数据安全,服务器负责定义源数据,客户端按需同步,确保双端一致性,常用端口为TCP-873。
54 3
|
6月前
|
Linux API 网络安全
centos7 图文详解精确同步企业实战 rsync include 同步指定文件exclude排除文件
centos7 图文详解精确同步企业实战 rsync include 同步指定文件exclude排除文件
68 0
|
6月前
|
监控 Linux 网络安全
linux centos7 rsync+sersync实现数据实时同步
linux centos7 rsync+sersync实现数据实时同步
197 0
|
算法 Linux
Linux系统【文件传输】rsync命令 – 远程数据同步工具
rsync命令来自于英文词组“remote sync”的缩写,其功能是用于远程数据同步。rsync命令能够基于网络(含局域网和互联网)快速的实现多台主机间的文件同步工作,并与scp或ftp发送完整文件不同,rsync有独立的文件内容差异算法,会在传送前对两个文件进行比较,只传送两者内容间的差异部分,因此速度更快。
207 2
|
安全 Unix Linux
【Linux网络服务】Rsync数据同步
【Linux网络服务】Rsync数据同步
|
Linux 数据安全/隐私保护 网络协议
centos7安装配置rsync以及遇到问题
安装 服务端 安装软件: yum -y install rsync 创建需同步的目录: mkdir -p /data 编辑配置文件:vim /etc/rsyncd.conf motd file = /etc/rsyncd.
2866 0
|
应用服务中间件 nginx Perl
|
13天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤,您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
|
14天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化(可选)。通过这些步骤,你可以成功安装并初步配置 SQL Server 2019,进行简单的数据库操作。
|
1月前
|
Linux 网络安全 数据安全/隐私保护
Linux系统之Centos7安装cockpit图形管理界面
【10月更文挑战第12天】Linux系统之Centos7安装cockpit图形管理界面
90 1
Linux系统之Centos7安装cockpit图形管理界面
下一篇
无影云桌面