centos6 rsync+inotify 数据同步

简介:

wKiom1jD82ix6IPeAAESOzQx3PU236.jpg-wh_50

一 前戏
#检测rsync是否已安装
rpm -qa rsync
#如未按装,执行yum安装
yum install -y rsync
#新建用户和目录并授权
useradd -M -s /sbin/nologin  rsync
mkdir /bakcup
chown -R rsync.rsync /bakcup/

 

 

二 服务端配置
#打开配置文件,填入以下内容
vi /etc/rsyncd.conf
===================================
#rsyncd.conf_______________start
#指定用户
uid = rsync
gid = rsync
#相当于黑洞 出错定位
use chroot = no
#有多少个客户端同时传文件
max connections = 200
#超时时间
timeout = 300
#进程号文件
pid file = /var/run/rsyncd.pid
#锁文件
lock file = /var/run/rsync.lock
#日志文件
log file = /var/log/rsyncd.log
#模块开始 这个模块对应的是推送目录 模块名称随便起
[backup]
#同步数据目录
path = /backup
#表示出现错误忽略错误
ignore errors
#表示网络权限可写(还需要本地文件权限配合)
read only = false
#这里设置IP或让不让同步
list = false
#指定允许的网段
hosts allow = 192.168.1.0/24
#拒绝链接的地址,一下表示没有拒绝的链接
hosts deny = 0.0.0.0/32
#虚拟用户
auth users = rsync_backup
#虚拟用户的密码文件
secrets file = /etc/rsync.password
#rsync_config_______________end
=================================================
#设置访问密码文件
echo "rsync_backup:younger" >/etc/rsync.password
#为密码文件设置安全权限
chmod 600 /etc/rsync.password
#启动守护进程模式
rsync --daemon

#添加开机自启动

echo 'rsync --daemon' >> /etc/rc.local

 

 

三 客户端配置
#检测rsync是否已安装
rpm -qa rsync
#如未按装,执行yum安装
yum install -y rsync
echo "younger" >/etc/rsync.password
#为密码文件设置安全权限
chmod 600 /etc/rsync.password

#添加EPRL源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
#安装
yum install inotify-tools -y
#编辑时时监控脚本
vi inotify.sh
===============================================
#!/bin/bash
host=192.168.1.160  #rsync服务端的ip地址
src=/data             #本地监控的目录
dst=backup            #rsync服务的模块名
user=rsync_backup     #rsync服务的虚拟用户
rsync_passfile=/etc/rsync.password   #本地调用rsync服务的密码文件
inotify_home=/usr/           #inotify的安装目录
if [ ! -e "$src" ] \
|| [ ! -e "${rsync_passfile}" ] \
|| [ ! -e "${inotify_home}/bin/inotifywait" ] \
|| [ ! -e "/usr/bin/rsync" ];
then
echo "Check File and Directory"
exit 9
fi
${inotify_home}/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e close_write,delete,create,attrib $src \
| while read file
do
#  rsync -avzP --delete --timeout=100 --password-file=${rsync_passfile} $src $user@$host::$dst >/dev/null 2>&1
cd $src && rsync -aruz -R --delete ./  --timeout=100 $user@$host::$dst --password-file=${rsync_passfile} >/dev/null 2>&1
done
exit 0
===================================================================================

 

四 测试
#后台执行时时监控脚本
sh inotify.sh &
#在本地/data目录新建文件
mkdir {1..99}

#在服务端/backup下查看同步状态

备注:如若不成功可能出现问题的地方
1 rsyncd.conf  没有d
2 rsync.password 权限非600
3 rsync.password 服务端保存用户名密码   
4 rsync.password 客户端只保存密码
5 目录的路径名称和允许的IP权限
6 防火墙
come on 努力吧

 

 

#网友优化每秒200个文件并发,数据同步几乎无延迟(待测)
[root@nfs-server scripts]# echo "50000000" >/proc/sys/fs/inotify/max_user_watches 
[root@nfs-server scripts]# echo "50000000" >/proc/sys/fs/inotify/max_queued_events
















本文转自younger00851CTO博客,原文链接: http://blog.51cto.com/younger008/1905439,如需转载请自行联系原作者



相关文章
|
3月前
|
监控 Unix Shell
Rsync+Inotify 实现数据同步
【8月更文挑战第25天】Rsync是一款适用于UNIX和类UNIX系统的高效数据备份工具,支持本地与远程数据复制。通过识别数据变更实现增量备份,减少网络传输量,提升效率。利用SSH加密保障数据安全,服务器负责定义源数据,客户端按需同步,确保双端一致性,常用端口为TCP-873。
53 3
|
6月前
|
Linux API 网络安全
centos7 图文详解精确同步企业实战 rsync include 同步指定文件exclude排除文件
centos7 图文详解精确同步企业实战 rsync include 同步指定文件exclude排除文件
66 0
|
6月前
|
监控 Linux 网络安全
linux centos7 rsync+sersync实现数据实时同步
linux centos7 rsync+sersync实现数据实时同步
189 0
|
算法 Linux
Linux系统【文件传输】rsync命令 – 远程数据同步工具
rsync命令来自于英文词组“remote sync”的缩写,其功能是用于远程数据同步。rsync命令能够基于网络(含局域网和互联网)快速的实现多台主机间的文件同步工作,并与scp或ftp发送完整文件不同,rsync有独立的文件内容差异算法,会在传送前对两个文件进行比较,只传送两者内容间的差异部分,因此速度更快。
206 2
|
安全 Unix Linux
【Linux网络服务】Rsync数据同步
【Linux网络服务】Rsync数据同步
|
Linux 数据安全/隐私保护 网络协议
centos7安装配置rsync以及遇到问题
安装 服务端 安装软件: yum -y install rsync 创建需同步的目录: mkdir -p /data 编辑配置文件:vim /etc/rsyncd.conf motd file = /etc/rsyncd.
2860 0
|
应用服务中间件 nginx Perl
|
3月前
|
SQL DataWorks 关系型数据库
DataWorks操作报错合集之如何处理数据同步时(mysql->hive)报:Render instance failed
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
监控 关系型数据库 MySQL
深入了解MySQL主从复制:构建高效稳定的数据同步架构
深入了解MySQL主从复制:构建高效稳定的数据同步架构
120 1
|
2月前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
629 4