Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。Logstash 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构,从 IP 地址解码出地理坐标,匿名化或排除敏感字段,并简化整体处理过程。数据往往以各种各样的形式,或分散或集中地存在于很多系统中。Logstash 支持各种输入选择,可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
1. 下载解压
这里大家可以去官网下载最新的版本:
https://www.elastic.co/cn/downloads/logstash
这里我们安装的是Linux系统,所以我们需要下载对应的包即可。
gzip -d logstash-7.11.1-linux-x86_64.tar.gz
tar -xvf logstash-7.11.1-linux-x86_64.tar
2. 配置
配置方面主要修改节点名称、文件自动加载和IP地址。
cd logstash-7.11.1/config
vim logstash.yml
# 修改:
# 结点名
node.name: node-01
# 开启配置文件自动加载
config.reload.automatic: true
# ip地址
http.host:
vim logstash-sample.conf
这里配置的是输出到ElasticSearch里面,后期可以使用Kibana进行展示。
3. 启动
后期我们根据运行脚本更加方便,这里是直接使用命令启动。
# 进入安装目录
cd /home/elk/logstash-7.11.1
# 运行
./bin/logstash -f config/logstash-sample.conf
后台脚本运行:
#!/bin/sh
nohup ../bin/logstash -f ../config/logstash-sample.conf &