《日志管理与分析权威指南》一2.1 概述

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

本节书摘来华章计算机《日志管理与分析权威指南》一书中的第2章 ,第2.1节,(美) Anton A. Chuvakin Kevin J. Schmidt Christopher Phillips 著 姚 军 简于涵 刘 晖 等译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.1 概述

在第1章我们已经讨论了日志,但是,我们真正讨论的东西是什么?我们正在讨论的并不是树木、数学,或航海日志等等……让我们从定义开始,该领域中的许多讨论是粗略和模糊的,对安全分析人员或网络工程师没有什么用处,因此探寻一个围绕日志记录数据的清晰定义就变得意义非凡了。
定义
在日志记录、日志分析以及日志管理中使用的许多术语(包括我们刚刚使用过的)含义模糊,充满误导或者有多重意义。在某些情况下,术语是从其他学科中“借用”的(我们偶尔会用到这些词),有时,不同的人使用不同的术语。而在另一些情况下,这些术语曾经很明确,但是被工具供应商的市场部门破坏了。这种模糊性将这一已经难以驾驭的领域变得更加混乱。
那么日志应该传达什么内容?日志应该提醒我们,还是应该被忽略掉?如若日志这般重要,为何它们却常常被忽略(事实上确实如此!)?组织遭到黑客入侵,自己却从不知晓的例子屡见不鲜,而日志中的所有证据都在入侵后存在数月,有时甚至长达数年。如果我们的计算机以及所运行的相关软件、网络设备似乎都正常工作,我们是否还必须查看日志?
理想情况下,日志不应该仅仅作为最重要的“出了什么错”问题的答案。它们还应该用于回答许多其他问题,包括“我们的运行情况如何?”、“未来一段时间是否会出错?”、“对某些事情我们是否做足了保护措施?”,以及大量审计相关的问题,例如“何人做了何事?”,请注意,后者并不仅在我们知道一些错误已经发生的情况下有用。
因此,日志分析工具不应该只在发生错误的情况下派上用场。最终,必须将持续的日志审核培养成一种习惯,就像人们每天刷牙一样。现在,许多法规强制组织采取这种良好的“卫生”习惯,但仍有许多机构不愿执行。
那么,只在情况变得一团糟的时候才查看日志行吗?对此最好的答案应该是“你至少应该做到这一点”,但是,除此之外,还有许多其他方法来充分利用日志内容。
下面是本书所用术语的定义。
“事件(event)是在某个环境之下发生的事情,通常涉及改变状态的尝试。事件通常包括时间、发生的事情,以及与事件或者环境相关的任何可能有助于解释或者理解事件原因及效果的细节。”(来源:http:/cee.mitre.org,具体的文章见http://cee.mitre.org/docs/CEE_Architecture_Overview-v0.5.pdf
事件分类根据一种或者多种分类方法为事件分组。分类方法的例子包括根据事件期间发生的情况、涉及各方、影响的设备类型等分类。
“事件字段(event field)描述了事件的某个特征。事件字段的例子包括日期、时间、源IP地址、用户标识以及主机标识。”(来源:http://cee.mitre.org/docs/CEE_Architecture_Overview-v0.5.pdf)
“事件记录(event record)是事件字段的一个集合,这些字段共同描述了某个事件。与事件记录同义的术语包括“审计记录”(audit record)和“日志条目”(log entry)。(来源:http://cee.mitre.org/docs/CEE_Architecture_Overview-v0.5.pdf)
日志(log)是一个“事件记录”的集合,“数据日志”、“活动日志”、“审计日志”、“审计跟踪”、“日志文件”以及“事件日志”等术语常常与日志的意义相同。(来源:http://cee.mitre.org/docs/CEE_Architecture_Overview-v0.5.pdf)
审计(Audit)是指在一定环境下(例如,在一个电子系统内)评估日志的过程。审计的典型目标是评估整体状态或者识别任何值得注意或有疑问的活动。(来源:http://cee.mitre.org/docs/CEE_Architecture_Overview-v0.5.pdf)
记录(recording)是保存与某个特定事件相关的各事件字段作为事件记录的行为。(来源:http://cee.mitre.org/docs/CEE_Architecture_Overview-v0.5.pdf)
“日志记录(logging)是将事件记录收集到日志中的行为。日志记录的例子包括存储日志条目到某个文本日志文件,或将审计记录数据存储到二进制文件或数据库中。”(来源:CEE Architecture Document 2011)(来源:http://cee.mitre.org/docs/CEE_Architecture_Overview-v0.5.pdf)
另一方面,安全事故(security incident)指的是一个或多个安全事件的发生,这些安全事件表明环境中出现了某些不良状况。这些不良状况可能是对系统的未授权访问、信息窃取、拒绝服务或者其他与某些机构相关的活动。而且,安全事故常常在清晨吵醒相关人员,因而通常很不受欢迎(其代价就是有时甚至产生“我们宁愿不知道”的错觉)。
在审计方面,日志记录可能被用在整个或部分的审计过程之中,正如我们在本书中展示的,良好的日志记录有助于审计活动的进行。但是仅有日志记录并不是审计,而且日志消息也并不一定就是审计跟踪。
应该指出,有时人们根据可信因素来区分日志记录和审计。日志记录可由系统和用户应用程序、服务器、操作系统组件产生。而审计行为由更可信的组件产生,如系统内核或可信计算(TCB)。Windows操作系统就采用了这样的区分方式。
“警报(Alert)或警告(Alarm)”是对事件产生的响应动作,通常是为了吸引某些人(或某些东西)的注意力。有时人们说日志文件包含警报,尤其是一些入侵检测相关日志确实集合了IDS警报。本书中,我们将警报看作特定日志消息需要迅速向用户转发时所采取的行动。我们将把警报和警告看作是同一含义。
同样,读者们现在应该已经认识到日志是由各种不同的实体产生的,例如专用的安全设备、应用软件、操作系统以及网络基础设施组件等。我们将采用通用术语“设备”(Device),表示安全相关日志的来源。因此,在这个定义前提下,安全NIPS应用程序和Apache Web服务器都将被作为一个设备对待。有理由相信,未来具备上网功能的家电同样会具备日志,当我们面对“面包机再次死机”的恶梦时,就可以在其日志文件中寻找解决方法。
现在我们已经掌握了这些术语,让我们通过一些例子来深入了解日志的性质及日志记录方式。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
SQL 存储 监控
|
1月前
|
监控 关系型数据库 MySQL
|
25天前
|
存储 监控 安全
Java企业级日志管理与分析
Java企业级日志管理与分析
|
5天前
|
存储 大数据 数据库
为什么要利用pt-query-digest定期分析slow query log并进行优化
为什么要利用pt-query-digest定期分析slow query log并进行优化
|
2月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56538 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
1月前
|
SQL 监控 中间件
【应急响应】拒绝服务&钓鱼指南&DDOS压力测试&邮件反制分析&应用日志
【应急响应】拒绝服务&钓鱼指南&DDOS压力测试&邮件反制分析&应用日志
|
1月前
|
存储 监控 安全
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
作为基于 Apache Doris 打造的现代化数据仓库,SelectDB 不拘泥于传统数仓的限制,针对日志数据的特点引入了多项创新性技术,使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台, 截至目前已在近百家行业内知名企业中落地。
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
|
1月前
|
SQL 监控 安全
|
21天前
|
应用服务中间件 Linux 开发工具
Nginx14---目录结构分析,查看Ngnix访问日志命令的写法​
Nginx14---目录结构分析,查看Ngnix访问日志命令的写法​
|
21天前
|
应用服务中间件 开发工具 nginx
Ngnix09目录结构分析,使用tree工具可以Ngnix目录中以一个树的方式呈现出来,yum install -y tree,tail -f nginx/logs/access.log
Ngnix09目录结构分析,使用tree工具可以Ngnix目录中以一个树的方式呈现出来,yum install -y tree,tail -f nginx/logs/access.log