RHEL 5基础篇—分析系统日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

分析系统日志

日志的功能 
1、用于记录系统、程序运行中发生的各种事件。 
2、通过阅读日志,有助于诊断和解决系统的故障。

日志文件的分类 
内核及系统日志:这种日志数据有系统服务syslog统一管理,根据其主配置文件“/etc/syslog.conf”中的设置决定将内核消息及各种系统程序记录到什么位置。系统中有相当一部分程序会把自己的日志文件交由syslog管理,因而这些程序使用的日志记录也具有相似的格式。 
用户日志:这种日志数据用于记录linux系统用户登录及退出系统的相关信息,包括用户名,登录的终端,登录时间,来源主机,正在使用的进程操作等。 
程序日志:有些应用程序会选择由自己独立管理一份日志文件,用于记录本程序运行过程中的各种时间信息。由于这些程序只负责管理自己的日志,因此不同的程序所使用的日志记录格式也可能会存在较大的差异。

linux系统本身和大部分服务器程序的日志默认都放在“/var/log”下,如下:查看“/var/log”目录下的所有文件及目录。

1 
下面介绍一下我们常见的一些日志文件。 
“/var/log/messages”:记录linux内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序故障等。 
“/var/log/cron”:记录crond计划任务产生的事件信息。 
“/var/log/dmesg”:记录linux系统在引导过程中的各种事件信息。 
“/var/log/maillog”:记录进入或发出系统的电子邮件活动。 
“/var/log/lastlog”:记录每个用户最近的登录事件。 
“/var/log/rpmpkgs”:记录系统中安装的各rpm包列表信息。 
“/var/log/secure”:记录用户认证相关的安全事件信息。 
“/var/log/wtmp”:记录每个用户登录、注销及系统启动和停机事件。 
“/var/log/btmp”:记录失败的、错误的登录尝试及验证事件。 
....

日志文件分析 
对于大多数文本格式的日志文件、只要使用tail、more、less、cat等文本处理工具就可以查看日志的内容。而对于一些二进制格式的日志文件,则需要使用特定的查询命令。

日志的格式 
对于syslog服务统一管理的大部分日志文件,使用的日志记录格式基本上都是相同的。 
如下:以公共日志“/var/log/messages”文件的记录格式为例。

2 
其中每一行表示一条日志消息,每一条消息包括以下四个字段。 
时间标签:消息发出的日期和时间。 
主机名:生成消息的计算机的名称。 
子系统名称:发出消息的应用程序的名称。 
消息:消息的具体内容。

日志消息的级别 
根据日志消息的重要程度不同,将其分为不同的优先级别(数字等级越小,优先级越高,消息越重要) 
如下:日志的消息级别

 3

分析内核及系统日志 
  内核及系统日志功能主要由默认安装的sysklogd-1.4.1-39.2软件包提供,该软件包安装了klogd、syslogd两个程序,并通过syslog服务进行控制,分别用于记录系统内核的消息和各种应用程序的消息。syslog服务的配置文件为“/etc/syslog.conf”。如下:查看“/etc/syslog.conf”文件中的内容,可以了解到系统默认的日志设置。

4 
从配置文件中可以看出,受syslogd服务管理的日志文件都是linux系统中最主要的日志文件,它们记录了linux系统中内核,用户认证,邮件,计划任务等最基本的系统消息。

分析用户日志 
在wtmp、btmp、lastlog等日志文件中,保存了系统用户登录,退出等相关的事件消息。但是这些文件都是二进制的数据文件,不能直接使用tail、less等文本查看工具进行浏览,需要使用users、who、w、last和lastb等用户查询命令来获取日志信息。 
1)查询当前登录的用户情况users、who、w命令。 
users命令——简单输出当前登录的用户名称,每个显示的用户名对应一个登录会话。

5 
who命令——用于报告当前登录到系统中的每个用户的信息。

6 
w命令——显示当前系统中的每个用户及其所运行的进程信息,比users、who命令的输出内容要更详细。

7 
2)查询用户登录的历史记录last、lastb命令 
last命令——用于查询成功登录到系统的用户记录,最近的登录情况将显示在最前面。

8 
lastb命令——用于查询登录失败的用户记录,比喻登录的用户名错误、密码不正确等情况都将记录在案。

9

分析程序日志 
在linux系统中,还有相当一部分应用程序并没有使用syslogd服务来管理日志,而是由程序自己维护日志记录。 
如下:这些程序的日志都将使用专门的日志分析工具分析。

10

     应用程序的日志,我们在以后学习linux服务当中会接触的更多,小编在这里就略略带过了。因为那个实在是很复杂,说起来也很枯燥。所以在这里主要是了解分析系统日志和用户日志就可以了。大家如果有看不懂的可以给我留言,我会及时回复大家的。

日志文件不但可以保存在本地的计算机上,还可保存在远程的日志服务器上,为了安全我们可以将一些比较重要的日志文件保存到远程计算机上,以免日志文件的损坏或丢失。如下图:更改日志服务的配置文件可以将本地计算机的日志保存到远程服务器上。



本文转自yun5277 51CTO博客,原文链接:http://blog.51cto.com/dengqi/1189600,如需转载请自行联系原作者

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
3月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
360 122
基于docker搭建监控系统&日志收集
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
6月前
|
监控 API 开发工具
HarmonyOS Next的HiLog日志系统完全指南:从入门到精通
本文深入解析HarmonyOS Next的HiLog日志系统,涵盖日志级别、核心API、隐私保护与高级回调功能,助你从入门到精通掌握这一重要开发工具。
365 1
|
8月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
|
3月前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog,快速构建“数字犯罪现场”,精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径,生成合规与取证报表,确保日志安全防篡改,大幅提升调查效率,为执法提供有力证据支持。
147 0
|
3月前
|
Ubuntu
在Ubuntu系统上设置syslog日志轮替与大小限制
请注意,在修改任何系统级别配置之前,请务必备份相应得原始档案并理解每项变更可能带来得影响。
298 2
|
8月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
566 117
|
5月前
|
监控 安全 NoSQL
【DevOps】Logstash详解:高效日志管理与分析工具
Logstash是ELK Stack核心组件之一,具备强大的日志收集、处理与转发能力。它支持多种数据来源,提供灵活的过滤、转换机制,并可通过插件扩展功能,广泛应用于系统日志分析、性能优化及安全合规等领域,是现代日志管理的关键工具。
752 0
|
5月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
10月前
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
3468 70
Grafana Loki,轻量级日志系统

热门文章

最新文章