logstash的使用教程-阿里云开发者社区

开发者社区> 开发与运维> 正文

logstash的使用教程

简介: 一、简单使用 cd logstash_HOME bin/logstash -e 'input { stdin { } } output { stdout {} }' 启动 Logstash 后,再键入 Hello hiekay,结果如下: image.png 在生产环境中,Logstash 的管道要复杂很多,可能需要配置多个输入、过滤器和输出插件。

一、简单使用

cd logstash_HOME
bin/logstash -e 'input { stdin { } } output { stdout {} }'

启动 Logstash 后,再键入 Hello hiekay,结果如下:


img_45dbb2b3af57b855881dd06cfc391fcb.png
image.png

在生产环境中,Logstash 的管道要复杂很多,可能需要配置多个输入、过滤器和输出插件。

因此,需要一个配置文件管理输入、过滤器和输出相关的配置。配置文件内容格式如下:

# 输入
input {
  ...
}

# 过滤器
filter {
  ...
}

# 输出
output {
  ...
}

二、配置使用 插件用法

在使用插件之前,我们先了解一个概念:事件。

Logstash 每读取一次数据的行为叫做事件。

在 Logstach_HOME 目录中创建一个配置文件,名为 logstash.conf(名字任意)。

  • 1、 输入插件
    输入插件允许一个特定的事件源可以读取到 Logstash 管道中,配置在 input {} 中,且可以设置多个。

修改配置文件:

input {
    # 从文件读取日志信息
    file {
        path => "/var/log/syslog"
        type => "system"
        start_position => "beginning"
    }
}

# filter {
#
# }

output {
    # 标准输出
    stdout { codec => rubydebug }
}

其中,syslog 为系统日志。保存文件。
运行

bin/logstash -f logstash.conf

在控制台结果如下:


img_0b8bae9b5844d73906ce494c1d8da1b1.png
image.png
  • 2、 输出插件
    输出插件将事件数据发送到特定的目的地,配置在 output {} 中,且可以设置多个。

修改配置文件:

input {
    # 从文件读取日志信息
    file {
        path => "/var/log/syslog"
        type => "error"
        start_position => "beginning"
    }
    
}

# filter {
#
# }

output {
    # 输出到 elasticsearch
    elasticsearch {
        hosts => ["127.0.0.1:9201"]
        index => "syslog-%{+YYYY.MM.dd}"
    }
}

配置文件中使用 elasticsearch 输出插件。输出的日志信息将被保存到 Elasticsearch 中,索引名称为 index 参数设置的格式。保存文件。
运行

bin/logstash -f logstash.conf

  • 打开浏览器访问 http://127.0.0.1:9100 使用 head 插件查看 Elasticsearch 数据,结果如下图:
    img_f72726826c6f15f553430af29a59fa41.png
    image.png
  • 3、 编码解码插件
    编码解码插件本质是一种流过滤器,配合输入插件或输出插件使用。
    从上图中,我们发现一个问题:Java 异常日志被拆分成单行事件记录到 Elasticsearch 中,这不符合开发者或运维人员的查看习惯。因此,我们需要对日志信息进行编码将多行事件转成单行事件记录起来。
    我们需要配置 Multiline codec 插件,这个插件可以将多行日志信息合并成一行,作为一个事件处理。
    Logstash 默认没有安装该插件,需要开发者自行安装。

bin/logstash-plugin install logstash-codec-multiline

修改配置文件:

input {
    # 从文件读取日志信息
    file {
        path => "/var/log/syslog"
        type => "error"
        start_position => "beginning"
        # 使用 multiline 插件
        codec => multiline {
            # 通过正则表达式匹配,具体配置根据自身实际情况而定
            pattern => "^\d"
            negate => true
            what => "previous"
        }
    }

}

# filter {
#
# }

output {
    # 输出到 elasticsearch
    elasticsearch {
        hosts => ["127.0.0.1:9201"]
        index => "syslog-%{+YYYY.MM.dd}"
    }
} 

保存文件。

  • 运行

bin/logstash -f logstash.conf

使用 head 插件查看 Elasticsearch 数据,结果如下图:


img_567157b609baad2a0b5191a537281b41.png
image.png
  • 4 过滤器插件
    过滤器插件位于 Logstash 管道的中间位置,对事件执行过滤处理,配置在 filter {},且可以配置多个。
    本次测试使用 grok 插件演示,grok 插件用于过滤杂乱的内容,将其结构化,增加可读性。
    安装:

bin/logstash-plugin install logstash-filter-grok

修改配置文件:

input {
     stdin {}
}


filter {
     grok {
       match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER
:duration}" }
     }
}


output {
     stdout {
        codec => "rubydebug"
     }
}

保存文件。

  • 运行

bin/logstash -f logstash.conf

启动成功后,我们输入:

127.0.0.1 GET /index.html 16688 0.066

控制台返回:


img_418de768a573c49d402159d303e57963.png
image.png

输入的内容被匹配到相应的名字中。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章