Filebeat采集数据到Elasticsearch

一、基本介绍

Filebeat 是 beats 家族的一员，是一款用于转发和集中日志数据的轻量级工具。它可作为 Agent 安装在你的服务器上，监控指定的日志文件或位置，收集日志的时间，并转发到目标应用，如：Elasticsearch、Logstash、Kafka、Redis等。

Filebeat由两个主要组件组成：inputs 和 harvester。这些组件一起工作跟踪文件并将事件数据发送到指定的输出。

1、Harvester

每个文件都将启动一个 harvester，harvester 逐行读取每个文件，并将内容发送到指定的输出。在 harvester 运行时，文件描述符将保持打开的状态，如果文件被删除了或者被重命名，Filebeat还是会继续读取该文件，直到达到 close_inactive 的状态。这样的缺点是，在 harvester 关闭之前，磁盘的空间将不会释放。

关闭 harvester 后会产生以下后果：

• 如果在harvester还在读取文件时文件被删除，当文件处理程序关闭时，会释放基础资源。
• 只有在scan_frequency过后，文件的采集才会重新开始。
• 如果在harvester关闭的情况下移动或移除文件，则不会继续收集文件。

2、Input

Input 负责管理 Harvester 并找到所有读取的资源。如果 input 类型是日志，那么 input 会查找出驱动器上所有的问天，以及匹配定义的全局路径的所有文件，并为每一个文件启动一个 harvester。每个 input 按照各自的顺序执行。

以下示例配置 Filebeat 从指定的文件中收集数据：

filebeat.inputs:
- type: log
  paths:
    - /var/log/*.log
    - /var/path2/*.log

对于同一种的 input 也可以进行重复定义：

filebeat.inputs:
- type: log
  paths:
    - /var/log/system.log
    - /var/log/wifi.log
- type: log
  paths:
    - "/var/log/apache2/*"
  fields:
    apache: true
  fields_under_root: true

目前支持的 input 类型有：

• AWS CloudWatch
• AWS S3
• Azure Event Hub
• Cloud Foundry
• Container
• Docker
• filestream
• GCP Pub/Sub
• HTTP Endpoint
• HTTP JSON
• journald
• Kafka
• Log
• MQTT
• NetFlow
• Office 365 Management Activity API
• Redis
• Stdin
• Syslog
• TCP
• UDP

3、Filebeat如何保持文件的状态

Filebeat 通过注册表的磁盘记录 harvester 读取的上一个偏移量，并确保发送所有日志行。如果无法将内容输出到目的地，如：Elasticsearch或Logstash，Filebeat将记住最后发送的行，并在目标可触达时，再次读取文件。当 Filebeat 运行时，每个 input 的状态被记录在内存中，当 Filebeat 重启时，根据注册表中的数据进行状态重建，以保证每个 harvester 在上次读取的位置继续收集数据。

二、安装配置

1、使用Docker安装

其中 /Users/www/filebeat 目录为我本机的目录，大家可替换为自己的目录。

镜像地址：https://hub.docker.com/r/elastic/filebeat/tags

#获取镜像docker pull elastic/filebeat:8.0.0-rc1
#启动容器docker run -d--name=filebeat elastic/filebeat:8.0.0-rc1
#拷贝数据docker cp filebeat:/usr/share/filebeat /Users/www/filebeat
chmod-R777 /Users/www/filebeat
#filebeat.yml的详情见下面chmod go-w /Users/www/filebeat/filebeat/filebeat.yml
#删除原来的容器docker rm-f filebeat
#重新创建容器docker run -d \
--name=filebeat \
--restart=always \
-v /Users/www/filebeat/filebeat:/usr/share/filebeat \
-v /Users/www/filebeat/log_messages:/var/log/messages \
  elastic/filebeat:8.0.0-rc1

filebeat.yml配置如下：

setup.kibana:
  host: "172.17.0.4:5601"#指定kibana  username: "elastic"#用户  password: "elastic"#密码filebeat.inputs:
- type: log
    enabled: true    paths:
- /var/log/messages/*.log
filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: falseprocessors:
- add_cloud_metadata: ~
- add_docker_metadata: ~
output.elasticsearch:
  hosts: '172.17.0.2:9200'#es的ip地址  username: 'elastic'#es 用户名  password: 'elastic'#es 密码  indices:
- index: "filebeat-%{+yyyy.MM.dd}"

2、配置Kibana

进入 Kibana 的 Stack Management 选择 Index Patterns ，点击 Create index pattern 创建一个索引匹配规则。

输入 filebeat 后，下面会将相关的索引展示出来，点击下一步：

创建成功后，在 Discover 页面就可以看到采集到的数据了：

至此，filebeat采集日志到ES就结束了，大家可根据实际的情况灵活调整，欢迎评论区一起交流探讨～