sersync+rsync多实例网站数据同步

简介:

1、网络拓扑图

AVBbYnA.png!web

2、 环境部署准备

192.169.59.17     M-server

192.168.59.14     s1-server

192.168.59.15     s2-server


1、检查系统环境变量

[root@M-server ~]# cat /etc/redhat-release CentOS release 6.6 (Final)
[root@M-server ~]# uname -r2.6.32-504.el6.x86_64
[root@M-server ~]# uname -mx86_64

2、在S1和S2服务器创建rsyncd.conf配置文件

vim /etc/rsyncd.conf


#Rsync server#created by lx 15:01 2009-6-5##rsyncd.conf start##uid = root
gid = root
use chroot = no
max connections = 2000timeout = 600pid file = /var/run/rsyncd.pidlock file = /var/run/rsync.locklog file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 10.0.0.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#####################################
[www]
comment = www by lx 14:18 2012-1-13
path = /data0/www/www/
#####################################
[bbs]
comment = bbs by lx 14:18 2012-1-13
path = /data0/www/bbs/
#####################################
[blog]
comment = blog by lx 14:18 2012-1-13
path = /data0/www/blog/

3、创建目录

mkdir -p /data0/www/{www,bbs,blog}

4、设置相关权限认证

echo "rsync_backup:oldboy" >/etc/rsync.password
chmod 600 /etc/rsync.password
检查权限是否正确
cat /etc/rsync.password
ll /etc/rsync.password

5、开启rsync守护进程

rsync --daemonps -ef|grep rsync
lsof -i tcp:873

6、将rsync服务加入开机自启动

echo "/usr/local/bin/rsync --daemon" >>/etc/rc.local

7、重启rsync

pkill rsync
rsync --daemon

8、 在Master上配置rsync权限

echo “oldboy” >/etc/rsync.password
chmod 600 /etc/rsync.password
检查
cat /etc/rsync.password
ll /etc/rsync.password

9、 在Master上手工测试rsync同步情况

mkdir -p /data0/www/{www,bbs,blog}
touch /data0/www/www/www.log /data0/www/bbs/bbs.log /data0/www/blog/blog.log
 
手动测试,执行同步命令
rsync -avzP /data0/www/www/ rsync_backup@192.168.59.14::www/ --password-file=/etc/rsync.password
rsync -avzP /data0/www/www/ rsync_backup@192.168.59.15::www/ --password-file=/etc/rsync.password
 
rsync -avzP /data0/www/bbs/ rsync_backup@192.168.59.14::bbs/ --password-file=/etc/rsync.password
rsync -avzP /data0/www/bbs/ rsync_backup@192.168.59.15::bbs/ --password-file=/etc/rsync.password
 
rsync -avzP /data0/www/blog/ rsync_backup@192.168.59.14::blog/ --password-file=/etc/rsync.password
rsync -avzP /data0/www/blog/ rsync_backup@192.168.59.15::blog/ --password-file=/etc/rsync.password

10. 在Master安装sersync

cd /server/tools
tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/localcd /usr/local/
mv GNU-Linux-x86/ sersyncmkdir -p bin config logs
mv confxml.xml conf/
mv sersync2 bin/sersync
/bin/cp conf/confxml.xml conf/confxml.xml$(date +%F) #备份配置文件cd conf/

11、 修改配置文件,将第24-28行内容删除掉,换成下面内容

<localpath watch="/data0/www/www">    
<remote ip="192.168.59.14" name="www"/>   
<remote ip="192.168.59.15" name="www"/>  
</localpath> 
 <!-- ################################### --> 
  <localpath watch="/data0/www/bbs">   
   <remote ip="192.168.59.14" name="bbs"/>    
   <remote ip="192.168.59.15" name="bbs"/>  
</localpath>  
<!-- ################################### -->  
<localpath watch="/data0/www/blog">   
 <remote ip="192.168.59.14" name="blog"/>   
  <remote ip="192.168.59.15" name="blog"/> 
 </localpath>
 修改38-44行,认证部分
将<auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
修改为<auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
将<timeout start="false" time="100"/><!-- timeout=100 -->
修改为<timeout start="true" time="100"/><!-- timeout=100 -->
修改45行
将<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
修改为<failLog path="/usr/local/sersync/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->保存退出
wq!

12、 开启sersync守护进程同步数据

先配置sersync环境变量

echo 'export PATH=$PATH:/usr/local/sersync/bin' >>/etc/profile

tail -1 /etc/profile

source /etc/profile

启动命令:

sersync -r -d -o /usr/local/sersync/conf/confxml.xml

参数:

-o:指定配置文件,如果不指定他默认是二进制下的配置文件

-d:后台运行

-r:主服务器和备服务器可能两边数据不一致,-r表示数据初始化一次,保证数据一致

启动的过程及结果

set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command paramoption: -r     
 rsync all the local files to the remote servers before the sersync work
 option: -d      run as a daemon
 option: -o      config xml name:  /usr/local/sersync/conf/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost     host port: 8008
daemon start,sersync run behind the console 
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 32 = 12(Thread pool nums) + 20(Sub threads)
please according your cpu ,use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data0/www/www && rsync -artuz -R --delete ./ 192.168.59.14::www >/dev/null 2>&1

13、 切换到sersync配置文件目录下

cd /usr/local/sersync/conf

cp confxml.xml www_confxml.xml

编辑www_confxml.xml,保留www模块,删除bbs 和 blog模块

VZnu2uF.png!web 

cp confxml.xml bbs_confxml.xml

编辑bbs_confxml.xml,保留bbs模块,删除www和blog模块

q2EBnej.png!web

cp confxml.xml blog_confxml.xml

编辑blog_confxml.xml模块,保留blog模块,删除www和bbs模块

IZJFzyf.png!web

14、多实例初始化同步命令:

sersync -r -d -o /usr/local/sersync/conf/www_confxml.xml
sersync -r -d -o /usr/local/sersync/conf/bbs_confxml.xml
sersync -r -d -o /usr/local/sersync/conf/blog_confxml.xml
 
 
cat>>/etc/rc.local<<EOF
sersync -d -o /usr/local/sersync/conf/www_confxml.xml
sersync -d -o /usr/local/sersync/conf/bbs_confxml.xml
sersync -d -o /usr/local/sersync/conf/blog_confxml.xml
EOF

参考:http://liubao0312.blog.51cto.com/2213529/1677586







     本文转自yzy121403725 51CTO博客,原文链接:http://blog.51cto.com/lookingdream/1826691,如需转载请自行联系原作者



相关文章
|
5月前
|
SQL 数据管理 关系型数据库
数据管理DMS使用问题之如何实现同实例同库中两个表的数据同步
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
4月前
|
监控 Unix Shell
Rsync+Inotify 实现数据同步
【8月更文挑战第25天】Rsync是一款适用于UNIX和类UNIX系统的高效数据备份工具,支持本地与远程数据复制。通过识别数据变更实现增量备份,减少网络传输量,提升效率。利用SSH加密保障数据安全,服务器负责定义源数据,客户端按需同步,确保双端一致性,常用端口为TCP-873。
60 3
|
5月前
|
SQL 数据管理 关系型数据库
数据管理DMS使用问题之DTs同实例同库前的表数据同步,该如何操作
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
6月前
|
JavaScript
Vue的`v-model`是双向数据绑定的关键,它连接视图和模型,确保表单元素(如文本输入、多行文本、单选、复选和选择框)的值与Vue实例的数据同步
【6月更文挑战第26天】Vue的`v-model`是双向数据绑定的关键,它连接视图和模型,确保表单元素(如文本输入、多行文本、单选、复选和选择框)的值与Vue实例的数据同步。用户交互更新数据属性,反之亦然。自定义组件可通过`model`选项或修饰符实现类似绑定,通过触发事件更新父组件的`v-model`。
59 1
|
算法 Linux
Linux系统【文件传输】rsync命令 – 远程数据同步工具
rsync命令来自于英文词组“remote sync”的缩写,其功能是用于远程数据同步。rsync命令能够基于网络(含局域网和互联网)快速的实现多台主机间的文件同步工作,并与scp或ftp发送完整文件不同,rsync有独立的文件内容差异算法,会在传送前对两个文件进行比较,只传送两者内容间的差异部分,因此速度更快。
211 2
|
安全 Unix Linux
【Linux网络服务】Rsync数据同步
【Linux网络服务】Rsync数据同步
|
监控 应用服务中间件 开发工具
Centos7.4 搭建rsync+inotify 实现数据同步
简介 起因 因公司全部迁云,配置ECS时需要将Web集群之间配置 数据同步 以及 会话保持,接下来配置在 linux Centos7.4版本的系统操作。 优点 使用rsync工具和inotify机制相结合,可以实现触发式部署(实时同步),只要原始(主)位置的文档发生变幻,则立即启用增量推送操作,否则处于静态等待状态,这样以来,就避免了分布式集群部署过程复杂的问题。
1867 0
|
监控 应用服务中间件 开发工具
Centos7.4 搭建rsync+inotify 实现数据同步
简介 起因 因公司全部迁云,配置ECS时需要将Web集群之间配置 数据同步 以及 会话保持,接下来配置在 linux Centos7.4版本的系统操作。 优点 使用rsync工具和inotify机制相结合,可以实现触发式部署(实时同步),只要原始(主)位置的文档发生变幻,则立即启用增量推送操作,否则处于静态等待状态,这样以来,就避免了分布式集群部署过程复杂的问题。
1264 0
|
应用服务中间件 nginx Perl
|
监控 网络协议 网络安全
rynsc +sersync实时数据同步
转载:https://www.cnblogs.com/liangml/p/5959571.html 一.为什么要用Rsync+sersync架构 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录。
1325 0

热门文章

最新文章