《日志管理与分析权威指南》一1.1 概述

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云防火墙,500元 1000GB
简介:

本节书摘来华章计算机《日志管理与分析权威指南》一书中的第1章 ,第1.1节,(美) Anton A. Chuvakin Kevin J. Schmidt Christopher Phillips 著 姚 军 简于涵 刘 晖 等译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.1 概述

本书是关于如何处理系统日志的。更确切地说,是关于如何从你的日志中获取到各种有用的信息。经常被低估的日志其实是计算机系统资源管理(打印机、磁盘系统、电源备份系统、操作系统等)、用户和应用程序管理(登录注销、应用程序访问等)和安全的一种非常有用的信息来源。需要说明的是,信息经常可以不同的方式来进行分类。用户的登录和注销信息与用户管理和安全都有关系。下面用一些例子来展示日志信息是多么有用。
各种磁盘存储产品在硬件出错时都会记录日志,经常关注这些信息可以把小问题在变成真正的噩梦之前解决掉。
作为第二个例子,让我们来简单思考一下,用户管理和安全日志如何结合起来为用户活动提供线索。当一个用户登录到Windows环境中时,这个行为已经作为登录历史被记录到某处。我们称之为用户管理日志数据。无论何时用户访问网络的任何部分,防火墙很有可能已经起作用了。防火墙,同时也记录着来源(例如个人工作站)是否有权限向一个特定的网络组件发送网络包,我们称之为安全日志数据。现在,让我们假设你的公司正在开发一个新产品,你想要知道谁尝试过访问你的开发服务器。当然,你可以采用防火墙访问控制列表(ACL)来管理,不过你想更进一步,用户的登录数据可以和防火墙记录对应起来,显示出尝试访问服务器的用户。如果这并不是在正常业务时间发生的,你就有理由来和这些员工谈谈以便更好地了解他们的意图。更深入一点,这个例子传达出一个重点,如果你可以访问正确的信息,你就有能力做一些精确的事情。
但是,获取这些信息需要花费一些时间和精力。第一眼(可能第二眼也是如此)看起来会是一项非常艰巨的任务,庞大的日志数据单独看起来也会令人望而生畏。不过我们能帮助你来“抵抗”它。我们会展示给你一个处理日志的完整策略,也会展示一些不同的日志类型和格式。使用不同类型和格式日志有着双重的意义。首先,它会让你习惯于查看日志消息和数据,让你更加熟悉它们。其次,它会帮助你建立一种心态:理解基本的日志格式会使你更加容易地识别和处理在你的环境里新的或者以前没见过的日志数据。不同的供应商会生成不同格式的日志消息,这是一个残酷的事实,但是最终,真正的关键是你如何处理和管理日志数据,越快理解并将它集成到你的综合日志系统,你就能越早地从中获利。
本章的余下部分是本书其他部分使用到的概念的基础。我们将要探究围绕着日志数据、人、过程和科技的思想,穿插进一些真实的例子使你发现日志数据的真正价值。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
SQL 存储 监控
|
1月前
|
监控 关系型数据库 MySQL
|
1天前
|
消息中间件 Kubernetes Kafka
日志采集/分析
日志采集/分析
|
25天前
|
存储 监控 安全
Java企业级日志管理与分析
Java企业级日志管理与分析
|
6天前
|
存储 大数据 数据库
为什么要利用pt-query-digest定期分析slow query log并进行优化
为什么要利用pt-query-digest定期分析slow query log并进行优化
|
2月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56539 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
1月前
|
SQL 监控 中间件
【应急响应】拒绝服务&钓鱼指南&DDOS压力测试&邮件反制分析&应用日志
【应急响应】拒绝服务&钓鱼指南&DDOS压力测试&邮件反制分析&应用日志
|
1月前
|
存储 监控 安全
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
作为基于 Apache Doris 打造的现代化数据仓库,SelectDB 不拘泥于传统数仓的限制,针对日志数据的特点引入了多项创新性技术,使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台, 截至目前已在近百家行业内知名企业中落地。
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
|
1月前
|
SQL 监控 安全
|
21天前
|
应用服务中间件 Linux 开发工具
Nginx14---目录结构分析,查看Ngnix访问日志命令的写法​
Nginx14---目录结构分析,查看Ngnix访问日志命令的写法​