《日志管理与分析权威指南》一1.3 看看接下来的事情

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

本节书摘来华章计算机《日志管理与分析权威指南》一书中的第1章 ,第1.3节,(美) Anton A. Chuvakin Kevin J. Schmidt Christopher Phillips 著 姚 军 简于涵 刘 晖 等译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.3 看看接下来的事情

下面我们来简单看看你将会在本书的剩余部分遇到什么样的事情。由于必须要有日志信息,你才能从中获取到有用的信息,因此我们将关注生成日志信息的一些事情,以及如何让它们提供给你所需的东西。我们将会向你展示如何构建一个收集、归档和分析日志数据的基础设施。在这个过程中,我们会提供真实的例子和案例研究。
我们将会详细讨论Unix和syslog数据,因为很多应用程序默认使用syslog,很多其他的应用程序也对其兼容(例如大部分Cisco和Juniper的设备都使用syslog)。并且,syslog是唯一具备向集中收集系统转发日志消息的内建机制的跨平台日志记录工具。但是,我们也会讨论在你的系统中可能使用的其他形式的日志。我们也肯定会谈到Windows的日志记录,主要是关于将你的windows日志数据放入集中化基础设施的内容。
如果你是程序员,我们专门为你准备了一整章。坦率地说,分析日志消息最大的一个问题就是大部分日志的质量低下,没有包含任何可用于有用操作的信息。如果从一开始就提高日志质量,它的使用就会简单得多。我们来看看下面这条日志消息的例子:
image

这条消息有什么问题吗?它很能说明问题,不是么?它告诉我们有一个向远程登录服务的连接被拒绝了。除了没有年份、没有时区这些令人烦恼的事情之外,如果它能告诉我们从哪里发出的连接被拒绝,会不会更好一点?如果告诉我们连接被拒绝的原因会不会更好一点?如果你只是在诊断和测试,那么这条日志消息并不是那么糟。但是如果你正在为某些人攻击了你的系统而查看日志,知道攻击从哪里发起显然会更有用。
现在来考虑下面这条日志消息:
image

是不是好了很多?
下面是一条实际上没什么用处的消息(这可不是我们编造出来的):
image

也许它对内核开发者的确有某些意义,但在其他方面没有什么帮助,它就跟下面的日志一样:
image

在我们为程序员准备的章节中,并不是仅仅抱怨这些糟糕的日志消息,而是对如何提高应用程序生成的日志质量提供很多有用的建议。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
25天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1599 14
|
25天前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
24 4
|
26天前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
39 2
|
2月前
|
缓存 监控 算法
分析慢日志文件来优化 PHP 脚本的性能
分析慢日志文件来优化 PHP 脚本的性能
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
|
3月前
|
SQL 监控 关系型数据库
使用 pt-query-digest 工具分析 MySQL 慢日志
【8月更文挑战第5天】使用 pt-query-digest 工具分析 MySQL 慢日志
53 3
使用 pt-query-digest 工具分析 MySQL 慢日志
|
3月前
|
存储 分布式计算 大数据
【Flume的大数据之旅】探索Flume如何成为大数据分析的得力助手,从日志收集到实时处理一网打尽!
【8月更文挑战第24天】Apache Flume是一款高效可靠的数据收集系统,专为Hadoop环境设计。它能在数据产生端与分析/存储端间搭建桥梁,适用于日志收集、数据集成、实时处理及数据备份等多种场景。通过监控不同来源的日志文件并将数据标准化后传输至Hadoop等平台,Flume支持了性能监控、数据分析等多种需求。此外,它还能与Apache Storm或Flink等实时处理框架集成,实现数据的即时分析。下面展示了一个简单的Flume配置示例,说明如何将日志数据导入HDFS进行存储。总之,Flume凭借其灵活性和强大的集成能力,在大数据处理流程中占据了重要地位。
69 3
|
3月前
|
应用服务中间件 Linux nginx
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
|
3月前
|
监控 安全 关系型数据库
在Linux中,什么是系统日志和应用程序日志?如何分析它们?
在Linux中,什么是系统日志和应用程序日志?如何分析它们?
|
3月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息