Beats 轻量型数据采集器
Beats 平台集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。
Beats 系列
全品类采集器,搞定所有数据类型。
Beats 可以直接将数据发送到 Elasticsearch 或通过 Logstash,在Kibana 中可视化之前,可以进一步处理和增强数据。
Filebeat
平时我们在查看日志时,使用 tail -f xxx.log
命令来实时查看日志,而当我们要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时,再使用上面的命令来操作几乎是完全不可能的。Filebeat 为我们提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。
Filebeat 内置有多种模块(Apache、Cisco ASA、Microsoft Azure、Nginx、MySQL 等等),可针对常见格式的日志大大简化收集、解析和可视化过程,只需一条命令即可。之所以能实现这一点,是因为它将自动默认路径(因操作系统而异)与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。
Filebeat 工作原理
无论在任何环境中,随时都潜伏着应用程序中断的风险。Filebeat 能够读取并转发日志行,如果出现中断,还会在一切恢复正常后,从中断前停止的位置继续开始。
Filebeat由两个主要组件组成: Prospector(收割者) 和 Harvester(勘探者)。
- Harvester
- 负责读取单个文件的内容
- 如果文件在读取时被删除或重命名,Filebeat 将继续读取文件
- Prospector
- Prospector 负责管理 Harvester 并找到所有要读取的文件来源
- 如果输入类型为日志,则查找器将查找路径匹配的所有文件,并为每个文件启动一个 Harvester。
- Filebeat 目前支持两种 Prospector 类型: log 和 stdin
- Filebeat 如何保持文件的状态
- Filebeat 保存每个文件的状态并经常将状态刷新到磁盘上的注册文件中。
- 该状态用于记住 Harvester 正在读取的最后偏移量,并确保发送所有日志行。如果输出(例如 Elasticsearch 或 Logstash )无法访问,Filebeat 会跟踪最后发送的行,并在输出再次可用 时继续读取文件。
- 在 Filebeat 运行时,每个 Prospector 内存中也会保存的文件状态信息,当重新启动 Filebeat 时,将使用注册文件的数据来重建文件状态,Filebeat 将每个 Harvester 在从保存的最后偏移量继续读取。
- 文件状态记录在
data/registry
文件中。
Filebeat 采集日志到架构
安装并配置
下载安装
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-linux-x86_64.tar.gz # 将下载包解压到 /usr/local 目录下tar xzvf filebeat-7.6.2-linux-x86_64.tar.gz -C /usr/local
新创建配置文件
监听 stdin
输入,并输出到控制台上
filebeat.inputs:- type: stdin enabled: trueoutput.console: pretty: true enable: true
启动执行
cd /usr/local/filebeat-7.6.2-linux-x86_64 ./filebeat -e -c filebeat-std.yml # 参数说明-e: 输出到标准输出,默认输出到syslog和logs下 -c: 指定配置文件
测试
服务启动完成后,在终端上输入 hello
,等待一会儿会在控制台上输出如下图所示信息,message
字段就是我们刚才输入内容
下一步计划
Filebeat 采集日志数据发送到 Elasticsearch