用这个小工具解决了Linux下文件实时和增量同步两大问题

简介: 用这个小工具解决了Linux下文件实时和增量同步两大问题

在运维过程中,通常有备份文件的需求,也就是把一些不能存储在数据库的文件备份到一个指定的目录。有人可能会说,使用系统的定时工具,写个脚本就好了,每隔一段时间执行一下备份任务。


image.png


但不失为一种方法,但我想在有数据变动的情况下才执行备份任务,没有变化的情况不执行,能否实现呢?

可以,在Linux下可以使用Inotify来解决。Inotify是一个 Linux特性,它监控文件系统操作,比如读取、写入和创建。Inotify 反应灵敏,用法非常简单,并且比 cron 任务的繁忙轮询高效得多,只要使用Inotify文件有变动+rsync命令同步有变化的文件,这样就达到增量备份的需求


Inotify安装


# 安装基本编译环境
# Rhel && CentOS
sudo yum install gcc make
# Ubuntu
sudo apt install gcc make
# 下载Inotify工具
sudo wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
# 解压
sudo tar -xf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14/
# 配置、编译和安装
sudo ./configure
sudo make && make install

安装完成之后会在/usr/local/bin/inotifywait下生成可执行文件, 使用以下命令时,屏幕输出正常则安装成功。

[root@blog ~]# inotifywait --help
inotifywait 3.14


image.png

命令用法


inotifywait [选项] 目标文件夹

#常用命令选项:
-m,持续监控(捕获一个事件后不退出)
-r,递归监控,包括子目录及文件
-q,减少屏幕输出信息
-e,指定监视的modify、move、create、delete、attrib等事件类别。不加此选项时,监控所有操作

来测试一下,在任一目录创建一个temp文件夹,使用inotifywait命令监控。

inotifywait -mrq temp/

另起一个shell窗口,创建一个空文件,可以发现监控中有多种事件产生。


image.png


由此可见,在对文件夹操作时,的确可以监控到时间。


脚本实现


脚本逻辑,当inotifywait捕获到事件时,将文件备份到指定文件夹中,基本逻辑:

while inotifywait -rq  监控文件夹
  do
  #重复执行同步代码
 done

比如:

#!/bin/bash
#注意rsync下的源一定要加/
while inotifywait -rq /tmp
 do 
  rsync --delete -a /tmp/  root@192.168.0.2:/tmp
 done

大家也可以使用-e参数,只在指定的事件下执行,或搭配其它脚本命令使用。发挥想象力吧!

相关文章
|
4月前
|
Linux 开发工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
|
2月前
|
Linux 数据安全/隐私保护 iOS开发
推荐Linux环境下效能优良的双向文件同步工具
综合上述条件,对于Linux环境下的双向文件同步需求,Unison 和 Syncthing 是两个非常出色的选择。它们都有良好的社区支持和文档资源,适用于不同规模的环境,从个人使用到商业部署。Unison 特别适合那些需要手动干预同步过程、需要处理文件冲突解决的场景。而 Syncthing 更加现代化,适合需要自动、实时的数据同步与备份的环境。对于选择哪一个,这将取决于个人的使用场景和具体需求。
256 16
|
2月前
|
存储 数据管理 Linux
区分Linux中.tar文件与.tar.gz文件的不同。
总之,".tar"文件提供了一种方便的文件整理方式,其归档但不压缩的特点适用于快速打包和解压,而".tar.gz"文件通过额外的压缩步骤,尽管处理时间更长,但可以减小文件尺寸,更适合于需要节约存储空间或进行文件传输的场景。用户在选择时应根据具体需求,考虑两种格式各自的优劣。
329 13
|
3月前
|
安全 Linux
Linux赋予文件000权限的恢复技巧
以上这些步骤就像是打开一扇锁住的门,步骤看似简单,但是背后却有着严格的逻辑和规则。切记,在任何时候,变更文件权限都要考虑安全性,不要无谓地放宽权限,那样可能
120 16
|
4月前
|
Ubuntu 搜索推荐 Linux
详解Ubuntu的strings与grep命令:Linux开发的实用工具。
这就是Ubuntu中的strings和grep命令,透明且强大。我希望你喜欢这个神奇的世界,并能在你的Linux开发旅程上,通过它们找到你的方向。记住,你的电脑是你的舞台,在上面你可以做任何你想做的事,只要你敢于尝试。
259 32
|
3月前
|
存储 Linux 数据处理
深入剖析Linux中一切即文件的哲学和重定向的机制
在计算机的奇妙世界中,Linux的这套哲学和机制减少了不同类型资源的处理方式,简化了抽象的概念,并蕴藏着强大的灵活性。就像变戏法一样,轻轻松松地在文件、程序与设备之间转换数据流,标准输入、输出、错误流就在指尖舞动,程序的交互和数据处理因此变得既高效又富有乐趣。
52 4
|
4月前
|
Linux
【Linux】 Linux文件I/O常见操作技巧
以上就是Linux文件I/O操作的一些技巧,接纳它们,让它们成为你在Linux世界中的得力伙伴,工作会变得轻松许多。不过记住,技巧的运用也需要根据实际情况灵活掌握,毕竟,最适合的才是最好的。
120 28
|
4月前
|
Ubuntu Linux
"unzip"命令解析:Linux下如何处理压缩文件。
总的来说,`unzip`命令是Linux系统下一款实用而方便的ZIP格式文件处理工具。本文通过简明扼要的方式,详细介绍了在各类Linux发行版上安装 `unzip`的方法,以及如何使用 `unzip`命令进行解压、查看和测试ZIP文件。希望本文章能为用户带来实际帮助,提高日常操作的效率。
559 12
|
3月前
|
Linux
linux文件重命名命令
本指南介绍Linux文件重命名方法,包括单文件操作的`mv`命令和批量处理的`rename`命令。`mv`可简单更改文件名并保留扩展名,如`mv old_file.txt new_name.txt`;`rename`支持正则表达式,适用于复杂批量操作,如`rename 's/2023/2024/' *.log`。提供实用技巧如大小写转换、数字序列处理等,并提醒覆盖风险与版本差异,建议使用`-n`参数预览效果。