本节书摘来华章计算机《日志管理与分析权威指南》一书中的第1章 ，第1.2.2节，（美） Anton A. Chuvakin Kevin J. Schmidt Christopher Phillips 著 姚 军 简于涵 刘 晖 等译更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1.2.2 日志数据是如何传输和收集的
日志数据的传输和收集在概念上非常简单。计算机或者其他设备都实现了日志记录子系统，能够在确定有必要的时候生成日志消息，具体的确定方式取决于设备。例如，你可以选择对设备进行配置，设备也可能本身进行了硬编码，生成一系列预设消息。另一方面，你必须有一个用来接收和收集日志消息的地方。这个地方一般被称为日志主机（loghost）。日志主机是一个计算机系统，一般来说可能是Unix系统或者Windows服务器系统，它是集中收集日志消息的地方。使用集中日志收集器的优点如下：
- 可以集中存储从多个地点得到的日志消息。
- 可以在上面备份你的日志。
- 可以在上面进行日志数据的分析。
这固然是好事，但是，最初的日志消息是如何传输的呢？最常见的方法是通过syslog协议。syslog协议是日志消息交换的一种标准。它常见于Unix系统中，也存在于Windows和其他非基于Unix的平台上。syslog基本上都实现了客户端和服务器端组件，两者之间通过用户数据报协议（UDP）通信，但是为了可靠传输，很多开源和商业syslog实现同样也支持传输控制协议（TCP）。客户端部分是生成和发送日志消息的真实设备或者计算机系统。服务器端通常会在一个日志收集服务器上。它的主要工作就是采集基于syslog的日志消息并将其存储在一个本地磁盘上，在那里可以分析日志，备份以及存储以供长期使用。
syslog并不是传输和收集日志数据的唯一机制。例如，微软为Windows开发了自己的日志记录系统，称做Window事件日志（Windows Event Log）。用户登录注销、应用程序消息等都以专有的格式存储。有开源和商业的应用程序用来将Windows事件日志转换成syslog的格式，以发送给syslog服务器。我们将会在第3和第15章对Windows事件日志进行更详细的讨论。
简单网络管理协议（SNMP）是一种用来管理网络设备的基于标准的协议。此协议基于两个概念：陷阱和轮询。陷阱就是当某些事情发生的时候，设备或者计算机系统发出的日志消息的一种形式。陷阱发送到管理站——这类似于日志主机。管理站用来管理基于SNMP的系统。轮询是管理站使用SNMP来查询设备预设变量（例如接口统计数据、接口的进出字节数等等）的手段。SNMP和syslog主要的区别是SNMP应该是根据数据格式来组织的，但在实践中并不总能找到。如果您想要了解关于SNMP的更多内容，请参阅《Essential SNMP》(Mauro & Schmidt，2005)。
数据库已经变成了应用程序存储日志消息的简便途径。应用程序可以将它的日志消息写进数据库模式，而不是生成一条syslog消息。在某些情况下，syslog服务器本身也可以直接写入关系型数据库，特别是在结构化存储、分析和报告日志消息的情况下有着极大的优势。
最后，也有一些专有的日志记录格式。第三方设备和应用程序实现了用于生成和检索日志消息的专有机制。在这个领域，供应商可能以C或者Java类库的形式给你提供应用编程接口（API），或者由你自行实现协议。可将Windows事件日志看作一种专有格式，但时常人们将其看作非官方日志记录标准，类似syslog，因为它相当流行。
我们在本节中讨论了以下一些较为常见的协议：
- syslog：基于UDP的客户端/服务器协议。这是最常见和普遍的日志记录机制。
- SNMP：SNMP最初是为了管理网络中的设备而创造的。然而多年来许多非网络系统已采用SNMP作为发出日志消息和其他状态类型数据的方式。
- Windows事件日志：微软的专有日志记录格式。
数据库：以结构化的方式来存储和检索日志消息。
常用的专有协议：
- LEA：日志提取API（Log Extraction API，LEA）是Checkpoint用于从它的防火墙和安全产品线收集日志的API。
- SDEE：安全设备事件交换（Security Device Event Exchange，SDEE）是思科用于从它的IPS（入侵预防系统）设备产品线收集日志消息的基于可扩展标记语言（XML）的协议。
- E-Streamer：E-Streamer是Sourcefire公司为其IPS开发的专有协议。
注意支持的日志记录方法
有些设备支持多种日志记录方法。例如，IPS设备可能支持将日志记录到syslog服务器或是数据库系统。问题在于记录到syslog的日志消息只是由IPS生成的警报摘要信息，它丢失了重要的信息，你可能需要去数据库获取完整的数据集。例如，数据包捕获（PCAP）。PCAP包含触发IPS生成警报或者日志消息的网络连接部分。这可能是用于信息分析、报告的一个重要的项目。
