rsync与inotify集成实现数据实时同步更新

简介:

上篇文章我们介绍了如何使用rsync同步文件,这篇文章我们再来介绍下,如何把rsync与inotify集成实现数据的实时同步。

要达到这个目的,我们需要分以下几个步骤:

1、rsync的优点与不足

2、inotify是什么

3、检测OS是否支持inotify

4、inotify相关参数详解

5、inotify监控的文件事件类似

6、inotify-tools是什么

7、安装inotify-tools

8、inotifywait使用详解

9、inotifywatch使用详解

10、inotif-tools与rsync集成

一、rsync的优点与不足

rsync在Linux/Unix下是一个比较重要和实用的服务,大家应该已经知道rsync具有安全性高、备份迅速、支持增量备份等优点。

通过rsync可以解决对实时性要求不高的数据备份需求,例如:定期备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大,对数据安全性和可靠性也提出了更高的要求,rsync在高端业务系统中也逐渐暴露出它的不足。

首先,rsync在进行同步数据时,需要先扫描所有文件后进行比对,然后再进行差量传输。如果文件数量达到百万甚至千万级,扫描所以文件将是非常耗时的。而且发生变化的往往是其中很少的一部分文件,这是非常低效的方式。

其次,rsync不能实时地去监测、同步数据。虽然它可以通过Linux守护进程的方式触发同步,但是两次触发动作之间一定会有时间差。这样就可能会导致服务端和客户端数据出现不一致的情况,无法在应用出现故障时完全恢复数据。

基于以上原因,所以就考虑采用rsync与inotify集成的方式来解决这些问题。

二、inotify是什么

inotify是一种强大的、细粒度的、异步的文件系统事件监控机制。

Linux内核从2.6.13(2005年8月)起,加入了对inotify的支持,通过inotify可以监控文件系统中的添加、删除、修改、移动等各种细微事件。利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样一个第三方软件。

在上面章节中,我们讲到,rsync可以实现触发式的文件同步。它是通过crontab守护进程方式触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变化时,就触发rsync同步,这就刚好解决了数据同步实时性的问题。

三、检测OS是否支持inotify

由于inotify特性需要Linux内核的支持,所以在安装inotify-tools之前要先确认Linux系统内核是否达到2.6.13以上。如果Linux内核低于2.6.23版本,就需要重新编译内核加入对inotify的支持,也可以用如下的方法来判断Linux内核是否支持inotify。

注意:目前本篇文章的OS为centos 6.5 64bit。

cat /etc/system-release

uname -r

ls -lsart /proc/sys/fs/inotify/

clip_image001

只要执行ls -lsart /proc/sys/fs/inotify/命令,如下结果有max_user_watches、max_user_instances、max_queued_events这三个文件,说明centos 6.5 64bit是支持inotify的。

通过上图,我们可以很明显的看到centos 6.5 64bit是支持inotify的。

四、inotify相关参数详解

inotify定义了三个接口参数,可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数,因此,可以根据应用需求实时的调节其大小。下面分别做简单介绍:

/proc/sys/fs/inotify/max_queued_evnets

表示请求events数的最大值,超出这个值的事件将被丢弃。该值默认为16384。

注意:max_queued_events是inotify管理的队列的最大长度,文件系统变化越频繁,这个值就应该越大。

如果你在日志中看到Event Queue Overflow,说明max_queued_events太小需要调整参数后再次使用。

/proc/sys/fs/inotify/max_user_instances

表示每个user可创建的instances数量上限。该值默认为128。

/proc/sys/fs/inotify/max_user_watches

表示可监控目录的最大数。该值默认为8192。

要修改以上默认值,我们可以使用以下类似手段修改。如下:

echo 30000000>/proc/sys/fs/inotify/max_user_watches

clip_image002

五、inotify监控的文件事件类型

inotify可监控的文件系统事件类型,如下:

IN_ACCESS:文件被访问。

IN_MODIFY:文件被write。

IN_ATTRIB:文件属性被修改,如chmod、chown等。

IN_CLOSE_WRITE:可写文件被close。

IN_CLOSE_NOWRITE:不可写文件被close。

IN_OPEN:文件被open。

IN_MOVED_FROM:文件被移出被监控目录,如mv。

IN_MOVED_TO:文件被移入被监控目录,如mv、cp。

IN_CREATE:文件/文件夹被创建。

IN_DELETE:文件/文件夹被删除,如rm。

IN_DELETE_SELF:自删除,即一个可执行文件在执行时删除自己。

IN_MOVE_SELF:自移动,即一个可执行文件在执行时移动自己。

IN_UNMOUNT:宿主文件系统被umount。

IN_CLOSE:文件被关闭,等同于(IN_CLOSE_WRITE|IN_CLOSE_NOWRITE)。

IN_MOVE:文件被移动,等同于(IN_MOVED_FROM|IN_MOVED_TO)。

注意:上面所说的文件也包括目录。

六、inotify-tools是什么

inotify仅仅是一个API,需要通过开发应用程序进行调用。inotify-tools就是这样的一个inotify软件,它是一套组件,包括一个C库和几个命令行工具。这些命令行工具可用于通过命令行或脚本对某些文件系统的事件进行监控。

inotify是为替代dnotify而设计的,它克服了dnotify的缺陷,提供了更好用的,更简洁而强大的文件变化通知机制。

1)inotify不需要对被监视的目标打开文件描述符,而且如果被监视目标在可移动介质上,那么在umount该介质上的文件系统后,被监视目标对应的watch将被自动删除,并且会产生一个umount事件。

2)inotify既可以监视文件,又可以监视目录。

3)inotify使用系统调用而非SIGIO信号来通知文件系统事件。

4)inotify使用文件描述符作为接口,因而可以使用通常的文件I/O操作select和poll来监视文件系统的变化。

七、安装inotify-tools

inotify-tools的安装可以分为源码方式和RPM方式。下面就这两种方式一一讲解。

注意:inotify-tools主要是通过inotifywait和inotifywatch,这两个命令进行工作。特别是inotifywait命令,是我们生产环境中使用最多的命令。

7.1 源码方式安装

源码方式安装inotify-tools,我们可以去inotify-tools官网去下载源码包。

inotify-tools官网:

https://github.com/rvoicilas/inotify-tools/wiki

下载inotify-tools并安装,如下:

clip_image003

注意:不建议使用wget下载inotify-tools,因为我在使用wget下载inotify-tools一直不成功,后来查询相关资料发现是github网站的原因。

wget https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

clip_image004

我们可以先通过浏览器下载本地,然后通过rz命令上传到服务器。

要使用rz命令,我们需要安装lrzsz软件,如下:

yum -y install lrzsz

clip_image005

lrzsz安装完毕后,我们来上传inotify-tools软件包。如下:

clip_image006

现在开始解压、安装inotify-tools,如下:

tar -xf inotify-tools-3.14.tar.gz

./configure

make&&make install

clip_image007

clip_image008

clip_image009

安装完毕后,我们切换到/usr/local/bin/目录下查看,如下:

cd /usr/local/bin/

clip_image010

通过上图,我们可以看到inotifywait和inotifywatch命令已经被安装到/usr/local/bin/目录下。

7.2 RPM方式安装

要RPM方式安装inotify-tools,我们首先要配置yum源,否则系统会提示找不到inotify-tools这软件包。如下:

clip_image011

我们可以去下面这个连接下载最新的yum源,如下:

http://dl.fedoraproject.org/pub/epel/6/x86_64/

clip_image012

下载epel-release-6-8.noarch.rpm软件包并安装,如下:

wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

rpm -ivh epel-release-6-8.noarch.rpm

clip_image013

clip_image014

以上操作完毕后,我们再来yum安装inotify-tools,如下:

yum –y install inotify-tools

clip_image015

查看inotify-tools安装的生成的文件,如下:

rpm -ql inotify-tools

clip_image016

通过上图,我们可以很容易的看到inotifywait和inotifywatch已经被安装到了/usr/bin/目录下。

以上就是有关inotify-tools的安装。

八、inotifywait使用详解

inotify-tools命令中,我们使用最多的就是inotifywait命令。

inotifywait是一个监控等待事件,它主要用于监控文件或目录的变化,并且可以递归地监控整个目录树。

8.1 inotifywait命令详解

有关inotifywait的使用方法,我们可以通过它的帮助信息查看。如下:

inotifywait -h

clip_image017

clip_image018

通过上图,我们可以看到inotifywait参数很多。下面我们就介绍下一些经常使用的参数:

-m表示始终保持事件监听状态。

-r表示递归查询目录。

-q表示打印出监控事件。

-e通过此参数可以指定要监控的事件。可监听的事件,如下:

access:访问,读取文件。

modify:修改,文件内容被修改。

attrib:属性,文件元数据被修改。

move:移动,对文件进行移动操作。以及重命名,对文件进行重命名。

create:创建,生成新文件

open:打开,对文件进行打开操作。

close:关闭,对文件进行关闭操作。

delete:删除,文件被删除。

–timefmt是指定时间的输出格式,用于–format选项中的%T格式。

–format指定文件变化的详细信息输出格式。格式参数如下:

%w表示发生事件的目录

%f表示发生事件的文件

%e表示发生的事件

%T使用由–timefmt定义的时间格式

%Xe事件以“X”分隔

8.2 inotifywait命令实例

8.1章节我们讲解了inotifywait命令的参数,下面我们来实际使用下inotifywait命令。

我们要监测/home目录下所有文件及目录的变化情况,命令如下:

inotifywait -mrq –timefmt ‘%y/%m/%d/%H:%M’ –format ‘%T %w %f %e’ -e modify,delete,create,attrib,move,open,close,access /home/

这条命令表示对/home目录下所有文件及目录的操作进行监控。

clip_image019

现在我们打开另外一个窗口对/home目录进行操作,如下:

clip_image020

我们是在/home目录下创建一个空的文件createfile以及一个新的目录createmkdir。

现在我们来切换到刚刚执行inotifywait命令的窗口,如下:

clip_image021

通过上图,我们可以很容易的看到inotifywait已经监控到我们前面创建的文件以及目录。

九、inotifywatch使用详解

除了inotifywatit命令之外,inotify-tools还有一个命令inotifywatch。

inotifywatch主要用于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息。

9.1 inotifywatch命令详解

inotifywatch使用可以查看其帮助信息,如下:

inotifywatch -h

clip_image022

inotifywatch参数说明如下:

-h:输出帮助信息。

-v:输出详细信息。

@:排除不需要监视的文件,可以是相对路径,也可以是绝对路径。

–-fromfile:从文件读取需要监视的文件或排除的文件,一个文件一行,排除的文件以@开头。

-z:输出表格的行和列,即使元素为空。

–-exclude:正则匹配需要排除的文件,大小写敏感。

–-excludei:正则匹配需要排除的文件,忽略大小写。

-r:监视一个目录下的所有子目录。

-t:设置超时时间。

-e:只监听指定的事件。该事件与inotifywait监听的事件类型一样。

-a:以指定事件升序排列。

-d:以指定事件降序排列。

9.2 inotifywatch命令实例

9.1章节我们讲解了inotifywatch命令的参数,下面我们来实际使用下inotifywatch命令。

要求统计60秒内/home目录下文件系统的事件,使用如下命令:

inotifywatch -v -e modify,delete,create,attrib,move,open,close,access -e modify -t 60 -r /home

clip_image023

现在我们打开另外一个窗口对/home目录进行操作,如下:

clip_image024

我们是在/home目录下删除一个文件createfile以及重命名createmkdir为test。

现在我们来切换到刚刚执行inotifywatch命令的窗口,如下:

image

通过上图,我们可以很容易的看到inotifywatch已经监控到我们前面删除的文件和重命名的目录文件事件数量。

十、inotify-tools与rsync集成

inotify-tools与rsync的集成主要是通过inotifywait命令与rsync命令集成来实现的,并且该集成主要是体现的rsync客户端,而rsync服务器端正需要按照正常的配置进行即可。

注意:该集成的主要目的是把rsync客户端需要备份的文件实时推送到rsync服务器上。

有关rsync的配置,可以参考《烂泥:linux文件同步之rsync学习(一)》这篇文章,而且本次实验的环境和这篇文章是同一个环境。

rsync服务器是192.168.199.247,rsync客户端为192.168.199.248。

我们现在的要求是只要rsync客户端的/home/www目录下有任何文件或者目录有改动的情况,都要实时的同步到rsync服务器上。

rsync服务器已经正常运行,相关配置文件如下:

clip_image027

clip_image028

下面我们的所有操作都是在rsync客户端上进行的,其实inotifywait命令与rsync命令集成,我们所要做的只是写一个shell脚本即可。脚本内容如下:

#!/bin/bash

src=/root/www/

dest=www

ip=192.168.199.247

/usr/bin/inotifywait -mrq –timefmt ‘%d/%m/%y%H:%M’ –format ‘%T %w %f’ -e modify,delete,create,attrib $src | while read DATE TIME DIR FILE;

do

filechange=${DIR}${FILE}

/usr/bin/rsync -avz –delete –progress $src apache@$ip::$dest –password-file=/etc/rsyncd.password &

echo "At ${TIME} on ${DATE}, file $filechange was backed up via rsynce" >>/tmp/rsync.log 2>&1

done

clip_image029

在这个脚本中,我只讲解while read DATE TIME DIR FILE这条语句,其他语句请自行查看相关文档。

inotifywait命令产生三个返回值,分别是“日期,时间,文件”这3个返回值会做为参数传给read,因此脚本中的“while read D E F”写法细化了返回值。

该脚本的原理是利用inotifywait命令对指定的文件和目录进行监控,如果指定文件和目录有改变那么就启动rsync同步命令。

上述脚本写好后,我们要给予其执行权限,然后配置其开机后台运行,并启动。使用如下命令:

chmod 700 inotify.sh

chmod u+x inotify.sh

ll |grep inotify.sh

echo "sh /root/inotify.sh > /dev/null &" >>/etc/rc.local

sh inotify.sh > /dev/null &

clip_image030

注意:为了让该脚本启动后台运行,一定要把启动命令写成图中的形式,否则该脚本在进行同步文件时会报如下的信息:

clip_image031

以上配置完毕后,我们来测试看看其效果。在rsync客户端上新建一个文件ilanni.txt,如下:

touch www/ilanni.txt

clip_image032

现在切换rsync服务器上查看刚刚在rsync客户端上创建的文件是否已经同步过来。

clip_image033

通过上图,我们可以很明显的看到文件已经同步过来。

再来rsync客户端查看相关的日志,如下:

clip_image034

可以看到日志中记录同步的时间已经同步的文件。

到此inotify-tools与rsync的集成已经全部配置完毕。

相关文章
|
3月前
|
JSON API 数据处理
Winform管理系统新飞跃:无缝集成SqlSugar与Web API,实现数据云端同步的革新之路!
【8月更文挑战第3天】在企业应用开发中,常需将Winform桌面应用扩展至支持Web API调用,实现数据云端同步。本文通过实例展示如何在已有SqlSugar为基础的Winform系统中集成HTTP客户端调用Web API。采用.NET的`HttpClient`处理请求,支持异步操作。示例包括创建HTTP辅助类封装请求逻辑及在Winform界面调用API更新UI。此外,还讨论了跨域与安全性的处理策略。这种方法提高了系统的灵活性与扩展性,便于未来的技术演进。
237 2
|
3月前
|
监控 数据安全/隐私保护 异构计算
借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据
【8月更文挑战第8天】借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据
89 1
|
3月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
165 1
|
3月前
|
开发框架 .NET 数据库连接
闲话 Asp.Net Core 数据校验(三)EF Core 集成 FluentValidation 校验数据例子
闲话 Asp.Net Core 数据校验(三)EF Core 集成 FluentValidation 校验数据例子
|
3月前
|
Java 测试技术 容器
从零到英雄:Struts 2 最佳实践——你的Web应用开发超级变身指南!
【8月更文挑战第31天】《Struts 2 最佳实践:从设计到部署的全流程指南》深入介绍如何利用 Struts 2 框架从项目设计到部署的全流程。从初始化配置到采用 MVC 设计模式,再到性能优化与测试,本书详细讲解了如何构建高效、稳定的 Web 应用。通过最佳实践和代码示例,帮助读者掌握 Struts 2 的核心功能,并确保应用的安全性和可维护性。无论是在项目初期还是后期运维,本书都是不可或缺的参考指南。
49 0
|
3月前
|
SQL 存储 数据管理
掌握SQL Server Integration Services (SSIS)精髓:从零开始构建自动化数据提取、转换与加载(ETL)流程,实现高效数据迁移与集成——轻松上手SSIS打造企业级数据管理利器
【8月更文挑战第31天】SQL Server Integration Services (SSIS) 是 Microsoft 提供的企业级数据集成平台,用于高效完成数据提取、转换和加载(ETL)任务。本文通过简单示例介绍 SSIS 的基本使用方法,包括创建数据包、配置数据源与目标以及自动化执行流程。首先确保安装了 SQL Server Data Tools (SSDT),然后在 Visual Studio 中创建新的 SSIS 项目,通过添加控制流和数据流组件,实现从 CSV 文件到 SQL Server 数据库的数据迁移。
150 0
|
3月前
|
数据采集 SQL DataWorks
【颠覆想象的数据巨匠】DataWorks——远超Excel的全能数据集成与管理平台:一场电商数据蜕变之旅的大揭秘!
【8月更文挑战第7天】随着大数据技术的发展,企业对数据处理的需求日益增长。DataWorks作为阿里云提供的数据集成与管理平台,为企业提供从数据采集、清洗、加工到应用的一站式解决方案。不同于桌面级工具如Excel,DataWorks具备强大的数据处理能力和丰富的功能集,支持大规模数据处理任务。本文通过电商平台案例,展示了如何使用DataWorks构建数据处理流程,包括多源数据接入、SQL任务实现数据采集、数据清洗加工以提高质量,以及利用分析工具挖掘数据价值的过程。这不仅凸显了DataWorks在大数据处理中的核心功能与优势,还展示了其相较于传统工具的高扩展性和灵活性。
130 0
|
4月前
|
监控 druid Java
spring boot 集成配置阿里 Druid监控配置
spring boot 集成配置阿里 Druid监控配置
278 6
|
4月前
|
Java 关系型数据库 MySQL
如何实现Springboot+camunda+mysql的集成
【7月更文挑战第2天】集成Spring Boot、Camunda和MySQL的简要步骤: 1. 初始化Spring Boot项目,添加Camunda和MySQL驱动依赖。 2. 配置`application.properties`,包括数据库URL、用户名和密码。 3. 设置Camunda引擎属性,指定数据源。 4. 引入流程定义文件(如`.bpmn`)。 5. 创建服务处理流程操作,创建控制器接收请求。 6. Camunda自动在数据库创建表结构。 7. 启动应用,测试流程启动,如通过服务和控制器开始流程实例。 示例代码包括服务类启动流程实例及控制器接口。实际集成需按业务需求调整。
340 4
|
4月前
|
消息中间件 Java 测试技术
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
303 1

热门文章

最新文章