《日志管理与分析权威指南》一1.2.2 日志数据是如何传输和收集的-阿里云开发者社区

开发者社区> 华章计算机> 正文

《日志管理与分析权威指南》一1.2.2 日志数据是如何传输和收集的

简介:
+关注继续查看

本节书摘来华章计算机《日志管理与分析权威指南》一书中的第1章 ,第1.2.2节,(美) Anton A. Chuvakin Kevin J. Schmidt Christopher Phillips 著 姚 军 简于涵 刘 晖 等译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2.2 日志数据是如何传输和收集的

日志数据的传输和收集在概念上非常简单。计算机或者其他设备都实现了日志记录子系统,能够在确定有必要的时候生成日志消息,具体的确定方式取决于设备。例如,你可以选择对设备进行配置,设备也可能本身进行了硬编码,生成一系列预设消息。另一方面,你必须有一个用来接收和收集日志消息的地方。这个地方一般被称为日志主机(loghost)。日志主机是一个计算机系统,一般来说可能是Unix系统或者Windows服务器系统,它是集中收集日志消息的地方。使用集中日志收集器的优点如下:

  • 可以集中存储从多个地点得到的日志消息。
  • 可以在上面备份你的日志。
  • 可以在上面进行日志数据的分析。

这固然是好事,但是,最初的日志消息是如何传输的呢?最常见的方法是通过syslog协议。syslog协议是日志消息交换的一种标准。它常见于Unix系统中,也存在于Windows和其他非基于Unix的平台上。syslog基本上都实现了客户端和服务器端组件,两者之间通过用户数据报协议(UDP)通信,但是为了可靠传输,很多开源和商业syslog实现同样也支持传输控制协议(TCP)。客户端部分是生成和发送日志消息的真实设备或者计算机系统。服务器端通常会在一个日志收集服务器上。它的主要工作就是采集基于syslog的日志消息并将其存储在一个本地磁盘上,在那里可以分析日志,备份以及存储以供长期使用。
syslog并不是传输和收集日志数据的唯一机制。例如,微软为Windows开发了自己的日志记录系统,称做Window事件日志(Windows Event Log)。用户登录注销、应用程序消息等都以专有的格式存储。有开源和商业的应用程序用来将Windows事件日志转换成syslog的格式,以发送给syslog服务器。我们将会在第3和第15章对Windows事件日志进行更详细的讨论。
简单网络管理协议(SNMP)是一种用来管理网络设备的基于标准的协议。此协议基于两个概念:陷阱和轮询。陷阱就是当某些事情发生的时候,设备或者计算机系统发出的日志消息的一种形式。陷阱发送到管理站——这类似于日志主机。管理站用来管理基于SNMP的系统。轮询是管理站使用SNMP来查询设备预设变量(例如接口统计数据、接口的进出字节数等等)的手段。SNMP和syslog主要的区别是SNMP应该是根据数据格式来组织的,但在实践中并不总能找到。如果您想要了解关于SNMP的更多内容,请参阅《Essential SNMP》(Mauro & Schmidt,2005)。
数据库已经变成了应用程序存储日志消息的简便途径。应用程序可以将它的日志消息写进数据库模式,而不是生成一条syslog消息。在某些情况下,syslog服务器本身也可以直接写入关系型数据库,特别是在结构化存储、分析和报告日志消息的情况下有着极大的优势。
最后,也有一些专有的日志记录格式。第三方设备和应用程序实现了用于生成和检索日志消息的专有机制。在这个领域,供应商可能以C或者Java类库的形式给你提供应用编程接口(API),或者由你自行实现协议。可将Windows事件日志看作一种专有格式,但时常人们将其看作非官方日志记录标准,类似syslog,因为它相当流行。
我们在本节中讨论了以下一些较为常见的协议:

  • syslog:基于UDP的客户端/服务器协议。这是最常见和普遍的日志记录机制。
  • SNMP:SNMP最初是为了管理网络中的设备而创造的。然而多年来许多非网络系统已采用SNMP作为发出日志消息和其他状态类型数据的方式。
  • Windows事件日志:微软的专有日志记录格式。
    数据库:以结构化的方式来存储和检索日志消息。

常用的专有协议:

  • LEA:日志提取API(Log Extraction API,LEA)是Checkpoint用于从它的防火墙和安全产品线收集日志的API。
  • SDEE:安全设备事件交换(Security Device Event Exchange,SDEE)是思科用于从它的IPS(入侵预防系统)设备产品线收集日志消息的基于可扩展标记语言(XML)的协议。
  • E-Streamer:E-Streamer是Sourcefire公司为其IPS开发的专有协议。
    注意支持的日志记录方法

有些设备支持多种日志记录方法。例如,IPS设备可能支持将日志记录到syslog服务器或是数据库系统。问题在于记录到syslog的日志消息只是由IPS生成的警报摘要信息,它丢失了重要的信息,你可能需要去数据库获取完整的数据集。例如,数据包捕获(PCAP)。PCAP包含触发IPS生成警报或者日志消息的网络连接部分。这可能是用于信息分析、报告的一个重要的项目。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
ECS运维:操作系统有异常?诊断日志来帮忙!
操作系统配置不当或程序过载可能会造成ECS系统内核崩溃,这将导致夯机、异常重启或无法正常启动等问题。为了分析根本原因,运维人员通常要查看系统日志,但此时也许实例已经无法正常远程连接,使得分析诊断非常困难。阿里云提供了一键查看系统日志和屏幕截图功能,为运维人员提供一个方便的工具,支持系统故障的分析。
7060 0
Python系列直播——深入Python与日志服务,玩转大规模数据分析处理实战
Python系列直播——深入Python与日志服务,玩转大规模数据分析处理实战
4834 0
日志服务数据加工培训直播资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践
日志服务数据加工系列培训资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践
1316 0
oracle参数文件、控制文件、数据文件、日志文件存放位置查看
1.参数文件和网络连接文件 SQL> show parameter spfile; NAME TYPE VALUE -----------------------------------...
663 0
windows管理员利器之用Log Parser Studio分析IIS日志(附逐浪CMS官方命令集)
原文:windows管理员利器之用Log Parser Studio分析IIS日志(附逐浪CMS官方命令集) Log Parser Studio是一个强大的IIS图形分析工具,值得推荐。
1520 0
自动化日志收集及分析在支付宝 App 内的演进
作者:曲仁军(骁然),蚂蚁金服技术专家。本文将聚焦支付宝在移动端如何构建日志自动化采集和分析能力,从而通过“数据采集、计算、分析、决策”完成针对业务性能的监控与用户行为分析。
3097 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《Nacos架构&原理》
立即下载
《看见新力量:二》电子书
立即下载
云上自动化运维(CloudOps)白皮书
立即下载