监控错误日志实例
作者：田逸（sery@163.com）
目的
:
1、
发现日志是否产生某个关键字(如系统日志的error)。
2、
不从头重复检查。日志文件不停滚动，每次从头检查的话，会查到已经发现的错误，就不符合我们的需求。
3、
发现新的关键字字日志中即发送报警。
原理：
用linux的diff工具，对比两个文件，并以grep提取我们要关注的“关键字”，如果有输出，则表明有异常，然后报警，再把源文件拿去覆盖对比的那个对象文件。
实验：
1、
工具：nagios插件check_log.
2、
文件：/var/log/messages及/var/log/message.arc。文件/var/log/messages本不存在的，执行命令后，自动生成。
我们先来看一下/var/log/messages 的内容：
Mar 21 04:02:10 MONITOR syslogd 1.4.1: restart.
Mar 23 15:03:32 MONITOR kernel: Kernel logging (proc) stopped.
Mar 23 15:03:32 MONITOR kernel: Kernel log daemon terminating.
Mar 23 15:03:33 MONITOR exiting on signal 15
Mar 23 15:03:33 MONITOR syslogd 1.4.1: restart.
Mar 23 15:03:33 MONITOR kernel: klogd 1.4.1, log source = /proc/kmsg started.
现在执行 ./check_log -F /var/log/messages -O /var/log/messages.arc -q "stop" 输出如下（因为/var/log/messages.arc无内容）：
(1)
< Mar 23 15:03:32 MONITOR kernel: Kernel logging (proc) stopped.
执行完毕后，两个文件的内容就一致了。当我们再次执行 ./check_log -F /var/log/messages -O /var/log/messages.arc -q "stop" 时，输出内容为：Log check ok - 0 pattern matches found,这表明当前并没有新的“stop”产生。
接下来，改一下文件/var/log/messages.arc,比如我把stoped去掉一个s字母，然后执行./check_log -F /var/log/messages -O /var/log/messages.arc -q "stop",则会得出第一次执行的输出。
结论和改进：
可以满足一定的需求，如以error做正则表达式来判断是否有错误产生。
改进脚本，使其有一定量的error产生时，发送警告，多余一个量，则发送critical告警。
本文转自sery51CTO博客，原文链接：http://blog.51cto.com/sery/287923 ，如需转载请自行联系原作者
