【实战技巧】使用inotify实现实时文件监控

本文涉及的产品
性能测试 PTS,5000VUM额度
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: `inotify`是Linux内核提供的文件系统监控机制,用于实时捕获文件和目录的创建、删除、移动和修改等事件。通过`inotify_init`初始化,`inotify_add_watch`添加监视点,如`. IN_ACCESS`, `. IN_MODIFY`等,及`inotify_rm_watch`移除监视。示例代码展示了监听指定路径下文件修改事件,当事件发生时打印信息。使用`inotify`能高效地构建实时应用,如文件同步和日志监控,简化系统编程。

【实战技巧】使用inotify实现实时文件监控

开篇

  之前阅读《Linux系统编程》时,留意到了一个Linux原生接口inotify。它能够监控文件的移动、读取、写入和删除等操作。今天利用空闲时间,简单研究了一下如何使用这个接口,并在这里记录下来,方便将来需要查询和参考。

概述

inotify 是 Linux 内核提供的一种文件系统事件监控机制,允许用户空间程序监视文件或目录的各种操作。
  通过注册监听事件,程序可以实时捕获文件的创建、删除、移动和修改等操作,无需轮询,极大地提高了效率和实时性。inotify 提供了一种高效的方式来构建实时文件同步、监控日志变更和自动化任务等应用,是现代 Linux 系统编程中不可或缺的一部分。

基础接口

  • int inotify_init(void) / int inotify_init1(int flags)
原型 int inotify_init(void)
功能 初始化一个新的 inotify 实例,并返回一个新的文件描述符,用于后续的操作。
参数 flags:
  IN_CLOEXEC: 在执行 execve() 后关闭文件描述符(FD_CLOEXEC)。
  IN_NONBLOCK:在新的文件描述符上设置 O_NONBLOCK 文件状态标志。使用这个标志可以避免额外调用 fcntl(2) 来达到同样的效果。
返回值 成功:返回一个新的文件描述符,用于标识 inotify 实例。
失败:返回 -1,并设置 errno 来指示错误类型。
  • int inotify_add_watch(int fd, const char *pathname, uint32_t mask)
原型 int inotify_add_watch(int fd, const char *pathname, uint32_t mask)
功能 向指定的 inotify 实例中添加一个新的文件或目录的监视,并指定要监视的事件类型。
参数 fd
  inotify_init 返回的文件描述符,标识要添加监视的 inotify 实例。
pathname:要监视的文件或目录的路径名。
mask:要监视的事件类型的位掩码,可以是以下之一或多个值的按位或组合:
  IN_ACCESS:文件被访问。
  IN_MODIFY:文件被修改。
  IN_ATTRIB:文件属性被修改。
  IN_CLOSE_WRITE:可写文件被关闭。
  IN_CLOSE_NOWRITE:不可写文件被关闭等。
返回值 成功:返回一个新的监视描述符,用于标识此次监视。
失败:返回 -1,并设置 errno 来指示错误类型。
  • int inotify_rm_watch(int fd, int wd)
原型 int inotify_rm_watch(int fd, int wd)
功能 从 inotify 实例中移除先前添加的监视。
参数 fd:inotify_init 返回的文件描述符,标识要移除监视的 inotify 实例。
wd:要移除的监视描述符,即调用 inotify_add_watch 返回的监视描述符。
返回值 成功:返回 0。
失败:返回 -1,并设置 errno 来指示错误类型。

源码示例

  • 需求: 实现监听指定路径下文件的修改事件,在事件发生时实时打印。
  • 实现: inotify接口使用起来比较简单,大致分为三个步骤:
    inotify初始化
    ② 增加监视对象以及监听类型
    ③ 等待事件触发,可以结合I/O复用。

整理流程比较简单,这里简单列举一下事件触发响应和测试流程示例:

  • 事件触发响应流程
    简单展示 inotify 阻塞模式的使用示例,阻塞等待事件触发,并及时处理。

    int InotifyManager::WaitForEvents() {
      const int bufferSize = 1024; // 根据实际需求调整缓冲区大小
      char buffer[bufferSize];
    
      ssize_t numRead = read(inotifyFd, buffer, bufferSize);
      if (numRead == -1) {
          if (errno != EAGAIN) {
              std::cerr << "Error reading from inotify: " << strerror(errno) << std::endl;
              return -1;
          }
          return 0;
      }
    
      // 处理所有事件
      int offset = 0;
      while (offset < numRead) {
          struct inotify_event* event = reinterpret_cast<struct inotify_event*>(&buffer[offset]);
          if (event->len > 0) {
              std::cout << "Inotify event: " << event->name;
              if (event->mask & IN_CREATE)
                  std::cout << " created";
              if (event->mask & IN_DELETE)
                  std::cout << " deleted";
              std::cout << std::endl;
          }
          offset += sizeof(struct inotify_event) + event->len;
      }
    
      return 0;
    }
    
  • 测试代码
    循环等待inotify事件,由于是阻塞模式,不会导致空转。

    int main() {
      InotifyManager inotifyManager;
    
      // 监听当前目录下的文件创建和删除事件
      inotifyManager.AddWatch(".", IN_CREATE | IN_DELETE);
    
      while (true) {
          // 等待并处理事件
          inotifyManager.WaitForEvents();
      }
    
      return 0;
    }
    

效果验证

  • 验证流程:
    ① 左边窗口执行监听程序。
    ② 右边窗口先后执行创建和删除hello文件。
  • 验证效果:
      监听程序能够及时打印出对应创建和删除事件。
    验证.png

总结

  • 从使用流程来看,inotify用起来比较简单,只需要初始化、添加事件和读取事件即可。
  • inotify 句柄也可以通过 I/O 多路复用(如 epoll/select/poll)进行监听,实现事件的及时响应。
  • inotify 使用场景也比较多,例如界面实时刷新显示文件;监听配置文件变更动态加载配置;作为调试手段,模拟外部事件触发内部响应以及记录一些敏感文件的修改记录等等。
  • 了解这种原生接口,以后如果有需求,能够让实现多一种方式,同时减少开发中的复杂性和时间成本,或许也能够少走一些“弯路”。
相关文章
|
4月前
|
存储 Kubernetes 数据可视化
在k8S中,如何使用EFK实现日志的统 一管理?
在k8S中,如何使用EFK实现日志的统 一管理?
|
7月前
|
运维 监控 安全
linux日志分析与追踪
在Linux中,日志分析涉及检查 `/var/log` 下的不同文件,如`messages`、`auth.log`、`kern.log`等,以及Web服务器和数据库日志。使用`tail`、`grep`、`awk`等工具实时查看和搜索日志,`logrotate`管理日志大小,`journalctl`处理Systemd日志,而`Splunk`等工具则用于集中式分析。分析技巧包括异常检测、时间关联和阈值监控。安全事件追踪结合登录失败日志、网络嗅探和IDS/IPS。日志链路追踪在分布式系统中尤为重要,帮助定位服务调用问题。有效的日志管理和分析能增强系统安全和故障排除能力。
58 7
|
JSON 监控 数据可视化
实时日志分析:通过Golang编写实时日志分析模块,加强公司监控管理软件的日志监控功能
在当今数字化时代,企业面临着庞大而复杂的网络环境,对实时监控和日志分析的需求变得日益迫切。本文将介绍如何使用Golang编写实时日志分析模块,以增强公司监控管理软件的日志监控功能。通过本文的指导,你将能够建立一个定制的实时日志分析系统,更好地监测和管理公司的网络活动。
335 0
|
监控 API
一个获取阿里云ASO上监控数据的脚本
一个获取阿里云ASO上监控数据的脚本
479 1
你居然还去服务器上捞日志,搭个日志收集系统难道不香么
ELK日志收集系统进阶使用,本文主要讲解如何打造一个线上环境真实可用的日志收集系统。有了它,你就可以和去服务器上捞日志说再见了!
|
存储 数据采集 监控
Logtail技术分享(一) : Polling + Inotify 组合下的日志保序采集方案
logtail是阿里云一款进行日志实时采集的Agent,当前几十万台部署logtail的设备运行在各种不同环境上(集团、蚂蚁、阿里云,还有用户部署在公网、IOT设备),每天采集数PB的数据,支撑上千种应用的日志采集。
17851 2
|
监控 网络协议 安全
日志服务与SIEM集成方案实战(二):syslog篇
本文将重点介绍如何使用syslog(通过UDP/TCP/TLS)与SIEM(如IBM Qradar, HP Arcsight, Splunk等)对接,确保传输的性能与可靠性,以便确保阿里云上的所有法规、审计、与其他相关日志能够导入到您的安全运维中心(SOC)中。
26645 0
|
监控 tsar CDN
【开源】Tsar——灵活的系统和应用采集软件
在开源人的盛会LinuxCon + ContainerCon + CloudOpen中国(简称LC3)大会上,阿里云CDN团队的空见(花名),为大家分享了开源的系统和应用采集软件Tsar的背景、设计思路和用法、模块开发以及未来规划。
3734 0