用这个小工具解决了Linux下文件实时和增量同步两大问题

简介: 用这个小工具解决了Linux下文件实时和增量同步两大问题

在运维过程中,通常有备份文件的需求,也就是把一些不能存储在数据库的文件备份到一个指定的目录。有人可能会说,使用系统的定时工具,写个脚本就好了,每隔一段时间执行一下备份任务。


image.png


但不失为一种方法,但我想在有数据变动的情况下才执行备份任务,没有变化的情况不执行,能否实现呢?

可以,在Linux下可以使用Inotify来解决。Inotify是一个 Linux特性,它监控文件系统操作,比如读取、写入和创建。Inotify 反应灵敏,用法非常简单,并且比 cron 任务的繁忙轮询高效得多,只要使用Inotify文件有变动+rsync命令同步有变化的文件,这样就达到增量备份的需求


Inotify安装


# 安装基本编译环境
# Rhel && CentOS
sudo yum install gcc make
# Ubuntu
sudo apt install gcc make
# 下载Inotify工具
sudo wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
# 解压
sudo tar -xf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14/
# 配置、编译和安装
sudo ./configure
sudo make && make install

安装完成之后会在/usr/local/bin/inotifywait下生成可执行文件, 使用以下命令时,屏幕输出正常则安装成功。

[root@blog ~]# inotifywait --help
inotifywait 3.14


image.png

命令用法


inotifywait [选项] 目标文件夹

#常用命令选项:
-m,持续监控(捕获一个事件后不退出)
-r,递归监控,包括子目录及文件
-q,减少屏幕输出信息
-e,指定监视的modify、move、create、delete、attrib等事件类别。不加此选项时,监控所有操作

来测试一下,在任一目录创建一个temp文件夹,使用inotifywait命令监控。

inotifywait -mrq temp/

另起一个shell窗口,创建一个空文件,可以发现监控中有多种事件产生。


image.png


由此可见,在对文件夹操作时,的确可以监控到时间。


脚本实现


脚本逻辑,当inotifywait捕获到事件时,将文件备份到指定文件夹中,基本逻辑:

while inotifywait -rq  监控文件夹
  do
  #重复执行同步代码
 done

比如:

#!/bin/bash
#注意rsync下的源一定要加/
while inotifywait -rq /tmp
 do 
  rsync --delete -a /tmp/  root@192.168.0.2:/tmp
 done

大家也可以使用-e参数,只在指定的事件下执行,或搭配其它脚本命令使用。发挥想象力吧!

相关文章
|
3天前
|
存储 Linux Android开发
Volatility3内存取证工具安装及入门在Linux下的安装教程
Volatility 是一个完全开源的工具,用于从内存 (RAM) 样本中提取数字工件。支持Windows,Linux,MaC,Android等多类型操作系统系统的内存取证。针对竞赛这块(CTF、技能大赛等)基本上都是用在Misc方向的取证题上面,很多没有听说过或者不会用这款工具的同学在打比赛的时候就很难受。以前很多赛项都是使用vol2.6都可以完成,但是由于操作系统更新,部分系统2.6已经不支持了,如:Win10 等镜像,而Volatility3是支持这些新版本操作系统的。
|
3天前
|
Linux 测试技术 开发者
【Docker项目实战】使用Docker部署instantbox临时Linux系统环境搭建工具
【6月更文挑战第13天】使用Docker部署instantbox临时Linux系统环境搭建工具
14 3
|
5天前
|
算法 数据挖掘 Linux
探索Linux中的awk命令:强大的文本分析工具
探索Linux中的`awk`命令,一个强大的文本分析工具,用于模式扫描、数据提取与报告生成。本文介绍`awk`的用途、工作原理、特点及应用示例。`awk`基于"模式-动作"框架,从输入数据中匹配模式并执行相应操作。其特点包括:强大的文本处理能力、灵活的I/O及简洁的语法。示例涵盖了打印特定行、处理字段、计算统计值等场景。使用`awk`时要注意理解输入数据、测试脚本、优化性能和添加注释。深入学习以提升数据处理技能。
|
5天前
|
Linux API C语言
C语言读写BMP文件-EasyBmp【 linux 平台】
**EasyBmp** 是一个49KB的轻量级C++图像处理库,专注于BMP格式,提供简单易用的API。它的特点是小巧、开源、易于理解和高度定制。通过示例代码展示了如何轻松读取、缩放和保存BMP图像。适合需要高效处理BMP图像的开发者。
|
6天前
|
Linux Shell
蓝易云 - Linux下查看文件和文件夹大小
这两个命令是查看Linux系统中文件和文件夹大小的基本工具,可以根据需要进行组合使用。
8 0
|
6天前
|
应用服务中间件 Linux nginx
蓝易云 - Linux使用pid文件结束nginx
以上就是使用pid文件结束nginx进程的方法。
7 0
|
7天前
|
存储 Linux Shell
Linux fallocate工具用于预分配或释放文件空间的块
`fallocate`是一个Linux命令行工具,用于预分配或释放文件空间的块 以下是一些使用`fallocate`的示例: 1. 预分配空间给文件: ```bash fallocate -l 10M example.txt ``` 这个命令将为`example.txt`文件预分配10MB的磁盘空间。 2. 释放文件未使用的空间: ```bash fallocate -d example.txt ``` 这个命令将释放`example.txt`文件中未使用的磁盘空间。请注意,这不会改变文件的大小,只是释放了未使用的磁盘空间。 3.
|
7天前
|
缓存 Linux Windows
初识Linux操作系统(根目录下的重要文件)(命令提示符的含义)
Linux系统基于"一切皆文件"的理念,重要文件分布在如/root(root用户目录)、/home(普通用户目录)、/etc(应用配置)、/dev(设备文件)、/boot(内核及启动文件)、/proc(动态系统信息)、/lib64(库文件)、/opt(软件存放)、/tmp(临时文件)。"[root@localhost ~]#"代表管理员在root目录,"$"代表普通用户。创建新用户用`useradd`命令。调节终端字体大小:Ctrl+Shift++增大,Ctrl+减号缩小。绝对路径从根目录开始,相对路径从当前目录开始。
|
7天前
|
Linux Shell API
深入探索 `dbus-run-session`:Linux下的D-Bus会话管理工具
`dbus-run-session`是Linux下管理D-Bus会话的工具,它确保桌面环境和应用间的通信。当登录图形桌面时,D-Bus会话自动创建,支持应用和服务间的消息传递。通常不需要直接使用,但在特定情况下,可以通过`dbus-run-session bash`启动shell会话运行D-Bus相关命令。注意避免重复启动会话,勿以root运行,确保环境变量正确,可使用`--verbose`选项进行调试。了解其工作原理有助于解决D-Bus相关问题。
|
7天前
|
SQL Oracle 关系型数据库
探索 Linux 命令 `db_archive`:Oracle 数据库归档日志的工具
探索 Linux 中的 `db_archive`,实际与 Oracle 数据库归档日志管理相关。在 Oracle 中,归档日志用于恢复,当在线重做日志满时自动归档。管理员可使用 SQL*Plus 查看归档模式,通过 `RMAN` 进行备份和恢复操作。管理归档日志需谨慎,避免数据丢失。了解归档管理对 Oracle 管理员至关重要,确保故障时能快速恢复数据库。