(转载)把syslog接收的远程日志从/var/log/messages中分开

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

今天突然要配置Linux的syslog服务器,摸了一早上才弄好。记录远程机器发来的syslog消息倒是容易(网上到处都是),不过按照默认的设置,syslog会将所有信息都给写入 /var/log/messages 中,和本机的消息都混到一块去了。

实在可恨,搜了一上午都找不到解决办法。本来看到个FreeBSD中用脚本处理的方法,兴冲冲的跑去实验,结果一点反应都没有。
后来看到介绍中有一句:“※注意,不能通过“|/var/xxx.sh”方式导向日志到其他脚本中处理!!”,差点气得吐血...

网上有人说syslog不能分离远程日志,于是试图从syslog-ng下手。结果syslog-ng编译起来N麻烦不说,跑起来还有问题,于是回头继续摸索syslog。试了N次终于找到个差强人意的解决办法,算是解决分离的问题。

 


--------------------------------------------------------------------------------

首先确定远程发来的消息是哪一级的,比如Panabit发过来的都是emerg级消息,某些路由器用的是notice级。实在不行就先用info然后过滤(具体办法见后文)。

(红色字是要添加的内容)
vi /etc/sysconfig/syslog
SYSLOGD_OPTIONS="-r -x -m 0"
-r: 打开接受外来日志消息的功能,其监控514 UDP端口;
-x: 关闭自动解析对方日志服务器的FQDN信息,这能避免DNS不完整所带来的麻烦;

vi /etc/syslog.conf
# 把emerg等级的消息从messages中除开,免得重复记录:
*.info;*.!emerg;mail.none;authpriv.none;cron.none /var/log/messages # *.!emerg 表示不记录emerg级的消息
#*.emerg * # 注释掉原来的emerg,不将emerg级消息显示到控制台
# 输出到/var/log/mylog
*.emerg /var/log/mylog

然后重启syslog:service syslog restart

这样就把远程日志写入/var/log/syslog并且不影响本机syslog工作了。


--------------------------------------------------------------------------------

 

关于/etc/syslog.conf写法,这里有个详细说明:

 

/etc/syslog.conf 根据如下的格式定义规则
/etc/syslog.conf 根据如下的格式定义规则:
facility.level action
设备.优先级 动作

1、facility 定义日志消息的范围,其可使用的key有:
auth -由 pam_pwdb 报告的认证活动。
authpriv -包括特权信息如用户名在内的认证活动 
cron -与 cron 和 at 有关的计划任务信息。 
daemon -与 inetd 守护进程有关的后台进程信息。 
kern -内核信息,首先通过 klogd 传递。 
lpr -与打印服务有关的信息。 
mail -与电子邮件有关的信息 
mark - syslog内部功能用于生成时间戳 
news -来自新闻服务器的信息 
syslog -由 syslog 生成的信息 
user -由用户程序生成的信息 
uucp -由 uucp 生成的信息 
local0-local7 -与自定义程序使用
* 通配符代表除了 mark 以外的所有功能

除mark为内部使用外,还有security为一个旧的key定义,等同于auth,已经不再建议使用。


2、level级别定义消息的紧急程度。按严重程度由高到低顺序排列为:
emerg -该系统不可用,等同panic
alert -需要立即被修改的条件 
crit -阻止某些工具或子系统功能实现的错误条件 
err -阻止工具或某些子系统部分功能实现的错误条件,等同error
warning -预警信息,等同warn 
notice -具有重要性的普通条件 
info -提供信息的消息 
debug -不包含函数条件或问题的其他信息 
none -没有重要级,通常用于排错 
* 所有级别,除了none

其中,panic、error、warn均为旧的标识符,不再建议使用。

在定义level级别的时候,需要注意两点:
1)优先级是由应用程序在编程的时候已经决定的,除非修改源码再编译,否则不能改变消息的优先级;
2)低的优先级包含高优先级,例如,为某个应用程序定义info的日志导向,则涵盖notice、warning、err、crit、alert、emerg等消息。(除非使用=号定义)


3、selector选择条件
通过小数点符号“.”把facility和level连接在一起则成为selector(选择条件)。
可以使用分号“;”同时定义多个选择条件。也支持三个修饰符:
* - 所有日志信息
= - 等于,即仅包含本优先级的日志信息
! - 不等于,本优先级日志信息除外


4、action动作 由前面选择条件定义的日志信息,可执行下面的动作:
file-指定日志文件的绝对路径 
terminal 或 print -发送到串行或并行设备标志符,例如/dev/ttyS2
@host -远程的日志服务器
username -发送信息本机的指定用户信息窗口中,但该用户必须已经登陆到系统中 
named pipe -发送到预先使用 mkfifo 命令来创建的 FIFO 文件的绝对路径

※注意,不能通过“|/var/xxx.sh”方式导向日志到其他脚本中处理!!

 

另外:如果确定不了远程发来的消息属于哪一级,可以这样做:

# 先分别记录各种消息
*.info;mail.none;authpriv.none;cron.none /var/log/messages
*.emerg /var/log/testlog1
*.warning /var/log/testlog2
*.notice /var/log/testlog3

然后分别cat并与messages中比较一下看看哪个里面有需要的日志。比如发现emerg和notice里有需要的内容,再改成这样:

*.info;*.!emerg;*.!notice;mail.none;authpriv.none;cron.none /var/log/messages
*.emerg;*.notice /var/log/mylog

这样写就是将emerg和notice的内容独立出来,存入/var/log/mylog,以免都混到/var/log/messages中不好分析。

转载于:http://www.cnblogs.com/bits/archive/2009/03/09/Linux-syslog_remote_cap2sf.html



本文转自 liang3391 51CTO博客,原文链接:http://blog.51cto.com/liang3391/456539

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
509 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
27天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
3月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
371 3
|
4天前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
1月前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
|
2月前
|
存储 监控 安全
什么是日志管理,如何进行日志管理?
日志管理是对IT系统生成的日志数据进行收集、存储、分析和处理的实践,对维护系统健康、确保安全及获取运营智能至关重要。本文介绍了日志管理的基本概念、常见挑战、工具的主要功能及选择解决方案的方法,强调了定义管理目标、日志收集与分析、警报和报告、持续改进等关键步骤,以及如何应对数据量大、安全问题、警报疲劳等挑战,最终实现日志数据的有效管理和利用。
164 0
|
3月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
50 0
|
3月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
312 0
|
5月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
150 3
|
3月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1756 14
MySQL事务日志-Redo Log工作原理分析