《日志管理与分析权威指南》一1.2.2 日志数据是如何传输和收集的

简介:

本节书摘来华章计算机《日志管理与分析权威指南》一书中的第1章 ,第1.2.2节,(美) Anton A. Chuvakin Kevin J. Schmidt Christopher Phillips 著 姚 军 简于涵 刘 晖 等译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2.2 日志数据是如何传输和收集的

日志数据的传输和收集在概念上非常简单。计算机或者其他设备都实现了日志记录子系统,能够在确定有必要的时候生成日志消息,具体的确定方式取决于设备。例如,你可以选择对设备进行配置,设备也可能本身进行了硬编码,生成一系列预设消息。另一方面,你必须有一个用来接收和收集日志消息的地方。这个地方一般被称为日志主机(loghost)。日志主机是一个计算机系统,一般来说可能是Unix系统或者Windows服务器系统,它是集中收集日志消息的地方。使用集中日志收集器的优点如下:

  • 可以集中存储从多个地点得到的日志消息。
  • 可以在上面备份你的日志。
  • 可以在上面进行日志数据的分析。

这固然是好事,但是,最初的日志消息是如何传输的呢?最常见的方法是通过syslog协议。syslog协议是日志消息交换的一种标准。它常见于Unix系统中,也存在于Windows和其他非基于Unix的平台上。syslog基本上都实现了客户端和服务器端组件,两者之间通过用户数据报协议(UDP)通信,但是为了可靠传输,很多开源和商业syslog实现同样也支持传输控制协议(TCP)。客户端部分是生成和发送日志消息的真实设备或者计算机系统。服务器端通常会在一个日志收集服务器上。它的主要工作就是采集基于syslog的日志消息并将其存储在一个本地磁盘上,在那里可以分析日志,备份以及存储以供长期使用。
syslog并不是传输和收集日志数据的唯一机制。例如,微软为Windows开发了自己的日志记录系统,称做Window事件日志(Windows Event Log)。用户登录注销、应用程序消息等都以专有的格式存储。有开源和商业的应用程序用来将Windows事件日志转换成syslog的格式,以发送给syslog服务器。我们将会在第3和第15章对Windows事件日志进行更详细的讨论。
简单网络管理协议(SNMP)是一种用来管理网络设备的基于标准的协议。此协议基于两个概念:陷阱和轮询。陷阱就是当某些事情发生的时候,设备或者计算机系统发出的日志消息的一种形式。陷阱发送到管理站——这类似于日志主机。管理站用来管理基于SNMP的系统。轮询是管理站使用SNMP来查询设备预设变量(例如接口统计数据、接口的进出字节数等等)的手段。SNMP和syslog主要的区别是SNMP应该是根据数据格式来组织的,但在实践中并不总能找到。如果您想要了解关于SNMP的更多内容,请参阅《Essential SNMP》(Mauro & Schmidt,2005)。
数据库已经变成了应用程序存储日志消息的简便途径。应用程序可以将它的日志消息写进数据库模式,而不是生成一条syslog消息。在某些情况下,syslog服务器本身也可以直接写入关系型数据库,特别是在结构化存储、分析和报告日志消息的情况下有着极大的优势。
最后,也有一些专有的日志记录格式。第三方设备和应用程序实现了用于生成和检索日志消息的专有机制。在这个领域,供应商可能以C或者Java类库的形式给你提供应用编程接口(API),或者由你自行实现协议。可将Windows事件日志看作一种专有格式,但时常人们将其看作非官方日志记录标准,类似syslog,因为它相当流行。
我们在本节中讨论了以下一些较为常见的协议:

  • syslog:基于UDP的客户端/服务器协议。这是最常见和普遍的日志记录机制。
  • SNMP:SNMP最初是为了管理网络中的设备而创造的。然而多年来许多非网络系统已采用SNMP作为发出日志消息和其他状态类型数据的方式。
  • Windows事件日志:微软的专有日志记录格式。
    数据库:以结构化的方式来存储和检索日志消息。

常用的专有协议:

  • LEA:日志提取API(Log Extraction API,LEA)是Checkpoint用于从它的防火墙和安全产品线收集日志的API。
  • SDEE:安全设备事件交换(Security Device Event Exchange,SDEE)是思科用于从它的IPS(入侵预防系统)设备产品线收集日志消息的基于可扩展标记语言(XML)的协议。
  • E-Streamer:E-Streamer是Sourcefire公司为其IPS开发的专有协议。
    注意支持的日志记录方法

有些设备支持多种日志记录方法。例如,IPS设备可能支持将日志记录到syslog服务器或是数据库系统。问题在于记录到syslog的日志消息只是由IPS生成的警报摘要信息,它丢失了重要的信息,你可能需要去数据库获取完整的数据集。例如,数据包捕获(PCAP)。PCAP包含触发IPS生成警报或者日志消息的网络连接部分。这可能是用于信息分析、报告的一个重要的项目。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
监控 Android开发 C语言
深度解读Android崩溃日志案例分析2:tombstone日志
深度解读Android崩溃日志案例分析2:tombstone日志
30 0
|
2月前
|
Go 数据处理 Docker
elk stack部署自动化日志收集分析平台
elk stack部署自动化日志收集分析平台
49 0
|
2月前
|
缓存 固态存储 关系型数据库
MySQL性能优化指南:深入分析重做日志刷新到磁盘的机制
MySQL性能优化指南:深入分析重做日志刷新到磁盘的机制
|
3月前
|
Java Spring
spring boot 配置log4j 日志
spring boot 配置log4j 日志
52 0
|
2月前
|
Java Spring
【Spring Boot】logback和log4j日志异常处理
【1月更文挑战第25天】【Spring Boot】logback和log4j日志异常处理
|
2月前
|
SQL Java 数据库连接
Mybatis之Mybatis简介、搭建Mybatis相关步骤(开发环境、maven、核心配置文件、mapper接口、映射文件、junit测试、log4j日志)
【1月更文挑战第2天】 MyBatis最初是Apache的一个开源项目iBatis, 2010年6月这个项目由Apache Software Foundation迁移到了Google Code。随着开发团队转投Google Code旗下,iBatis3.x正式更名为MyBatis。代码于2013年11月迁移到Github iBatis一词来源于“internet”和“abatis”的组合,是一个基于Java的持久层框架。iBatis提供的持久层框架包括SQL Maps和Data Access Objects(DAO)
186 3
Mybatis之Mybatis简介、搭建Mybatis相关步骤(开发环境、maven、核心配置文件、mapper接口、映射文件、junit测试、log4j日志)
|
1天前
|
数据库
redo log日志格式
redo log日志格式
|
1天前
|
SQL 数据采集 JSON
弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
123186 0
|
5天前
|
应用服务中间件 nginx
百度搜索:蓝易云【nginx记录分析网站响应慢的请求(ngx_http_log_request_speed)】
需要注意的是,使用自定义的Nginx模块需要对Nginx的编译和配置有一定的了解。如果对Nginx和模块的配置不太熟悉,建议先仔细阅读相关文档和教程,确保操作正确。此外,模块的稳定性和兼容性也需要进行一定的测试和验证。 买CN2云服务器,免备案服务器,高防服务器,就选蓝易云。百度搜索:蓝易云
15 0
|
24天前
|
监控 安全 数据库
Binlog vs. Redo Log:数据库日志的较劲【高级】
Binlog vs. Redo Log:数据库日志的较劲【高级】
70 0