inotify+rsync+mutt+msmtp 实现linux文件或者目录自动更新并且实现发邮件给管理员

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

实现文件实时同步,并且监控目录发送邮件给管理员

需求,需要一次性更新多台服务器,人工手动,时间较长。

并且实时监控发邮件到管理员邮箱里.


服务器架构图

095131155.jpg

更新源ip:192.168.0.110

服务器ip:192.168.0.185


192.168.0.185配置

首先安装rsync

yum -y install rsync

然后等待

定义rsync配置文件/etc/rsyncd.conf 直接写了shell脚本


#!/bin/bash

cat >> /etc/rsyncd.conf << EOF

uid = nobody

gid = nobody

use chroot = no

max connections = 100

timeout = 600

pid file=/var/run/rsyucd.pid

lock file = /var/run/rsyncd.lock

log file = /var/log/rsyncd.log

[static]

path = 更新目录地址

ignore errors

read only = no

list = no

hosts allow = 192.168.0.0/255.255.255.0

auth users = www1

secrets file = /etc/www1.pwd

EOF

/etc/rsyncd.conf 其实直接在上面修改也可以的


然后运行


讲解配置参数

uid = nobody //运行RSYNC守护进程的用户
gid = nobody //运行RSYNC守护进程的组
use chroot = 0 //不使用chroot
max connections = 0 // 最大连接数,0为不限制
port = 873 //默认端口873

下面这些文件是安装完RSYNC服务后自动生成的文件
pid file = /var/run/rsyncd.pid //pid文件的存放位置
lock file = /var/run/rsync.lock //锁文件的存放位置.指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log //日志记录文件的存放位置

Timeout = 300
通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600.

Log format = %t %a %m %f %b
通过该选项用户在使用transfer logging可以自己定制日志文件的字段.其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示:
%h 远程主机名
%a 远程IP地址
%l 文件长度字符数
%p 该次rsync会话的进程id
%o 操作类型:" send" 或" recv"
%f 文件名
%P 模块路径
%m 模块名
%t 当前时间
%u 认证的用户名(匿名时是null)
%b 实际传输的字节数
%c 当发送文件时,该字段记录该文件的校验码
默认log格式为:" %o %h [%a] %m (%u) %f %l" ,一般来说,在每行的头上会添加" %t [%p] " .在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件.

#transfer logging = yes
使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中.

syslog facility = local3 
指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默认值是daemon.

模块参数
[static] //这里是认证的模块名,在client端需要指定
path = 更新目录地址 //需要做镜像的目录,不可缺少!
comment = backup web //这个模块的注释信息
ignore errors //可以忽略一些无关的IO错误
read only = yes //该选项设定是否允许客户上载文件.如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的.默认值为true.
list = no //不允许列文件
auth users = bak //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关
该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块.这里的用户和系统用户没有任何关系.如果" auth users" 被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议.用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中.默认情况下无需密码就可以连接模块(也就是匿名方式).

secrets file = /etc/www1.pwd //密码和用户名对比表,密码文件自己生成
该选项指定一个包含定义用户名:密码对的文件.只有在" auth users" 被定义时,该文件才有作用.文件每行包含一个username:passwd对.一般来说密码最好不要超过8个字符.没有默认的secures file名,需要限式指定一个(例如:
/etc/www1.pwd).注意:该文件的权限一定要是600,否则客户端将不能连接服务器.

hosts allow = 192.168.0.0/255.255.255.0 //允许主机或网段
该选项指定哪些IP的客户允许连接该模块.客户模式定义可以是以下形式:
单个IP地址,例如:192.168.0.227
整个网段,例如:192.168.0.0/24,也可以是192.168.0.0/255.255.255.0
多个IP或网段需要用空格隔开,“*”则表示所有,默认是允许所有主机连接.

hosts deny = 0.0.0.0/0 //禁止主机


vi /etc/www1.pwd

www1:123

chmod 600 /etc/www1.pwd


----启动、关闭rsync程序---

rsync --daemon

netstat -anpt | grep rsync

killall -3 rsync


---使用xinetd管理rsync程序----

yum -y install xinetd

vi /etc/xinetd.d/rsync

service rsync

{

disable = no



服务器IP:192.168.0.110

vi /etc/sysctl.conf 内核参数修改

fs.inotify.max_queued_events = 16384

fs.inotify.max_user_instances = 1024

fs.inotify.max_user_watches = 1048576

sysctl -p 初始化内核参数


首先安装包

#!/bin/bash

yum install rsync -y

mkdir -p 更新目录地址,可以根据实际需要添加目录

wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

tar xzvf inotify-tools-3.14.tar.gz

cd inotify-tools-3.14

./configure

make

make install

cat >>/home/rsync.sh <<EOF


vi 1.sh

#!/bin/bash

更新目录地址

185400894.png

发现很多报错

2013/09/17 12:03:02 [8351] rsync: failed to set times on "views/main" (in static): Operation not permitted (1)

2013/09/17 12:03:02 [8351] rsync: failed to set times on "views/website" (in static): Operation not permitted (1)

2013/09/17 12:03:02 [8351] rsync: failed to set times on "views/website/xy" (in static): Operation not permitted


这个问题是由于权限的问题,chown nobody.nobody

(1)修改前,rsync 推送文件到目标服务器出错 :

QQ截图20111108101457.jpg

(2)去目标服务器查看 /etc/rsync.conf 文件,看uid和gid分别是什么 :

QQ截图20111108101457.jpg

(3)然后根据配置文件,把目标服务器的目标目录,chown 目录的属主和属组 

QQ截图20111108101457.jpg

185447377.png

185459354.png


views/admin/cmd/sys/setplatgm.php

3281 100% 11.48kB/s 0:00:00 (xfer#356, to-check=40/471)

views/admin/cmd/sys/user.head.php

1071 100% 3.75kB/s 0:00:00 (xfer#357, to-check=39/471)

views/admin/cmd/sys/user.mod.head.php

709 100% 2.48kB/s 0:00:00 (xfer#358, to-check=38/471)

views/admin/cmd/sys/user.mod.php

4064 100% 14.22kB/s 0:00:00 (xfer#359, to-check=37/471)

views/admin/cmd/sys/user.php

2800 100% 9.80kB/s 0:00:00 (xfer#360, to-check=36/471)

views/admin/cmd/sysmsg/

views/admin/cmd/sysmsg/broadcast.head.php

1045 100% 3.66kB/s 0:00:00 (xfer#361, to-check=35/471)

views/admin/cmd/sysmsg/broadcast.php

1232 100% 4.31kB/s 0:00:00 (xfer#362, to-check=34/471)

views/admin/cmd/test/

views/admin/cmd/test/test.php

101 100% 0.35kB/s 0:00:00 (xfer#363, to-check=33/471)

views/admin/cmd/uinfo/

views/admin/datepicker/

views/admin/datepicker/My97DatePicker.htm

1389 100% 4.84kB/s 0:00:00 (xfer#364, to-check=32/471)

views/admin/datepicker/WdatePicker.js

8409 100% 29.33kB/s 0:00:00 (xfer#365, to-check=31/471)

views/admin/datepicker/calendar.js

21639 100% 75.20kB/s 0:00:00 (xfer#366, to-check=30/471)

views/admin/datepicker/config.js

223 100% 0.77kB/s 0:00:00 (xfer#367, to-check=29/471)

views/admin/datepicker/lang/

views/admin/datepicker/lang/en.js

644 100% 2.24kB/s 0:00:00 (xfer#368, to-check=26/471)

views/admin/datepicker/lang/zh-cn.js

1089 100% 3.77kB/s 0:00:00 (xfer#369, to-check=25/471)

views/admin/datepicker/lang/zh-tw.js

1088 100% 3.77kB/s 0:00:00 (xfer#370, to-check=24/471)


测试脚本:发现可以使用了,下面安装mutt+msmtp

185514398.png

185638423.png

185640671.png

发现一个错误,解决如下


[root@localhost mutt-1.4.2.3]# find /usr/ -name "libiconv.so*"

/usr/local/lib/libiconv.so.2

/usr/local/lib/libiconv.so

/usr/local/lib/libiconv.so.2.5.0

[root@localhost mutt-1.4.2.3]# li -s /usr/local/lib/libiconv.so

libiconv.so libiconv.so.2 libiconv.so.2.5.0

[root@localhost mutt-1.4.2.3]# ln -s /usr/local/lib/libiconv.so.2 /usr/lib/libiconv.so.2


[root@localhost mutt-1.4.2.3]# echo "/usr/local/lib/" >>/etc/ld.so.conf

[root@localhost mutt-1.4.2.3]# ldconfig

[root@localhost mutt-1.4.2.3]# ./configure --prefix=/root/mutt-1.4.2.3

[root@localhost mutt-1.4.2.3]# mkdir -p /usr/local/msmtp/etc

185654412.png

修改配置文件


[root@localhost mutt-1.4.2.3]# vi /root/.muttrc

set sendmail="/usr/local/msmtp/bin/msmtp" //msmtp 配置文件目录

set use_from=yes

set from=312779641@qq.com //发给谁的邮件

set envelope_from=yes


[root@localhost mutt-1.4.2.3]# vi /root/.msmtprc

host smtp.qq.com

tls off

auth plain

from 312779641@qq.com //从哪个邮件发出来

user 312779641 //用户名

password 密码



[root@localhost mutt-1.4.2.3]# vi /usr/local/msmtp/etc/msmtprc

defaults

account 312779641

host smtp.qq.com

from 312779641@qq.com

auth login

port 25

tls off

user 312779641@qq.com

password 密码

account default:312779641


[root@localhost mutt-1.4.2.3]# mkdir -p /usr/local/msmtp/log

[root@localhost mutt-1.4.2.3]# echo 'set sendmail="/usr/local/msmtp/bin/msmtp"' >>/etc/Muttrc

[root@localhost mutt-1.4.2.3]# echo "set use_from=yes" >>/etc/Muttrc

[root@localhost mutt-1.4.2.3]# echo 'set realname="312779641@qq.com"' >>/etc/Muttrc

[root@localhost mutt-1.4.2.3]# echo 'set editor="vim"' >>/etc/Muttrc

[root@localhost mutt-1.4.2.3]# ln -s /usr/local/msmtp/bin/msmtp /usr/bin

[root@localhost mutt-1.4.2.3]# /usr/local/mutt/bin/mutt -s "test" -c 312779641@qq.com</1.txt 发送邮件测试


-s 邮件标题 紧接的是接收邮件地址 -c 抄送地址 "< "为邮件正文 -a是附件。

如果发送不成功,请检测下配置文件。


185904350.png


185916115.png

[root@localhost ~]# vi mon.sh 监控目录

#!/bin/bash

clear

src=更新目录地址

/usr/local/inotify/bin/inotifywait -m -r -d -o /tmp/monitor.log --timefmt '%F%T' --format '%T%w%f%e' -e modify,attrib,move,close_write,create,delete,delete_self $src


#!/bin/bash

src=更新目录地址

des1=static

user1=www1

host1="192.168.0.185"

/usr/local/bin/inotifywait -m -r -d -o /tmp/monitor.log --timefmt '%F%T' --format '%T%w%f%e' -e

modify,attrib,move,close_write,create,delete,delete_self $src| while read DIRECTORY EVENT FILE

do

rsync -vzrtopg --delete --progress 更新目录www1@192.168.0.185::static --password-file=/etc/www1.pwd

echo "${files} was rsynced" >> /tmp/rsync.log 2>&1

done

-m, 即--monitor,表示始终保持事件监听状态。

-r, 即--recursive,表示递归查询目录。

-q, 即--quiet,表示打印出监控事件。

-e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等

--timefmt:指定时间的输出格式

--format:指定变化文件的详细信息


[root@localhost ~]# vi send.sh

#!/bin/bash

clear

path_f=/tmp/monitor.log

email=31279641@qq.com


function mutt_send()

{

/usr/local/mutt/bin/mutt -s "WARN" -c 312779641@qq.com</tmp/monitor.log

}

if [ -s $path_f ]; then

echo "mail send.......";sleep 1

/usr/local/mutt/bin/mutt -s "WARN" -c 312779641@qq.com</tmp/monitor.log

fi

cat /dev/null > $path_f



[root@localhost ~]# ll

总用量 388

-rw-r--r-- 1 root root 380 9月 17 18:13 2.sh

drwxrwxrwx 6 1000 1000 4096 9月 18 09:23 inotify-tools-3.14

-rw-r--r-- 1 root root 358772 3月 14 2010 inotify-tools-3.14.tar.gz

-rw-r--r-- 1 root root 221 9月 18 09:24 mon.sh

drwxr-xr-x 7 1000 1000 4096 9月 17 15:23 msmtp-1.4.31

drwxr-xr-x 9 3121 3121 12288 9月 17 15:25 mutt-1.4.2.3

-rw------- 1 root root 114 9月 18 09:11 nohup.out

-rw-r--r-- 1 root root 323 9月 18 09:37 send.sh

后台运行监控脚本

nohup /bin/bash /root/monitor.sh &

crontab –e

*/5****/bin/bash/root/sendmail.sh

保存退出并重启服务

/etc/init.d/crond restart

095208328.jpg

测试:

[root@localhost ~]# cd 目录

[root@localhost ]# touch 123456

[root@localhost ]# rm -rf *

[root@localhost ]# cd /root/


[root@localhost ~]# sh send.sh

mail send.......

[root@localhost ~]#

095313643.jpg

095323519.jpg


本文转自 cs312779641 51CTO博客,原文链接:http://blog.51cto.com/chenhao6/1298375
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
26天前
|
Linux
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
68 3
|
1月前
|
存储 Linux Windows
linux常用目录
/sbin s就是super User的意思,这里存放的是系统管理员使用的系统管理程序。 /home 存放普通用户的主目录,在Linux中每个用户都有一个自己的目录,一版该目录名是以用户的账号命名的。 /root 该目录为系统管理员,也称为超级权限者的用户主目录。 /lib 系统开机所需要最基本的动态连接共享库,其作用类似于windows里的DLL文件。几乎所有的应用程序都需要用到这些共享库。 /etc 所有的系统管理所需要的配置文件和子目录。 /usr 这是一个非常重要的目录,用户的很多应用程序和文件都放在这个目录下,类似于windows下的program fies目录。 /bo
35 2
|
21天前
|
运维 监控 网络协议
运维工程师日常工作中最常用的20个Linux命令,涵盖文件操作、目录管理、权限设置、系统监控等方面
本文介绍了运维工程师日常工作中最常用的20个Linux命令,涵盖文件操作、目录管理、权限设置、系统监控等方面,旨在帮助读者提高工作效率。从基本的文件查看与编辑,到高级的网络配置与安全管理,这些命令是运维工作中的必备工具。
65 3
|
25天前
|
Linux Python
Linux 中某个目录中的文件数如何查看?这篇教程分分钟教会你!
在 Linux 系统中,了解目录下文件数量是常见的需求。本文介绍了四种方法:使用 `ls` 和 `wc` 组合、`find` 命令、`tree` 命令以及编程实现(如 Python)。每种方法都附有详细说明和示例,适合不同水平的用户学习和使用。掌握这些技巧,可以有效提升系统管理和日常使用的效率。
151 6
|
22天前
|
分布式计算 Java Hadoop
linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
通过以上步骤,可以有效地解决 `HADOOP_HOME`和 `JAVA_HOME`删除后依然指向旧目录的问题。确保在所有相关的配置文件中正确设置和删除环境变量,并刷新当前会话,使更改生效。通过这些措施,能够确保系统环境变量的正确性和一致性。
22 1
|
29天前
|
Linux 开发工具 Perl
在Linux中,有一个文件,如何删除包含“www“字样的字符?
在Linux中,如果你想删除一个文件中包含特定字样(如“www”)的所有字符或行,你可以使用多种文本处理工具来实现。以下是一些常见的方法:
41 5
|
29天前
|
安全 Linux 数据安全/隐私保护
在 Linux 系统中,查找文件所有者是系统管理和安全审计的重要技能。
在 Linux 系统中,查找文件所有者是系统管理和安全审计的重要技能。本文介绍了使用 `ls -l` 和 `stat` 命令查找文件所有者的基本方法,以及通过文件路径、通配符和结合其他命令的高级技巧。还提供了实际案例分析和注意事项,帮助读者更好地掌握这一操作。
47 6
|
29天前
|
Linux
在 Linux 系统中,`find` 命令是一个强大的文件查找工具
在 Linux 系统中,`find` 命令是一个强大的文件查找工具。本文详细介绍了 `find` 命令的基本语法、常用选项和具体应用示例,帮助用户快速掌握如何根据文件名、类型、大小、修改时间等条件查找文件,并展示了如何结合逻辑运算符、正则表达式和排除特定目录等高级用法。
67 6
|
1月前
|
Linux Python
Linux 中某个目录中的文件数如何查看?这篇教程分分钟教会你!
在 Linux 系统中,了解目录下的文件数量是常见的需求。本文介绍了多种方法,包括使用 `ls` 和 `wc` 命令组合、`find` 命令、`tree` 命令以及编程方式(如 Python)。无论你是新手还是有经验的用户,都能找到适合自己的方法。掌握这些技巧将提高你在 Linux 系统中的操作效率。
34 4
|
1月前
|
监控 Linux Perl
Linux 命令小技巧:显示文件指定行的内容
在 Linux 系统中,处理文本文件是一项常见任务。本文介绍了如何使用 head、tail、sed 和 awk 等命令快速显示文件中的指定行内容,帮助你高效处理文本文件。通过实际应用场景和案例分析,展示了这些命令在代码审查、日志分析和文本处理中的具体用途。同时,还提供了注意事项和技巧,帮助你更好地掌握这些命令。
43 4