开发者社区> 余二五> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

了解一下Logstash常用配置

简介:
+关注继续查看

Logstash管道可以配置一个或多个输入插件、过滤器插件和输出插件。其中,输入插件和输出插件是必选的,过滤器插件是可选的。下图是Logstash常见的使用场景。

spacer.gif

wKiom1d-GcuQF03LAADLms-6Ngc910.png

上一节的例子中我们使用标准的输入和输出插件做了简单的示例。接下来我们演示一些复杂的场景。如下图所示是Logstash的标准管道结构,我们通过一些高级配置来完成Apache日志的过滤。

# The # character at the beginning of a line indicates a comment. 

Use# comments to describe your configuration. 

input { 

}

# The filter part of this file is commented out to indicate that it is# optional. 

# filter { 

# 

# } 

output { 

}

1. 准备一段apache日志文件,格式如下:

83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"

83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-dashboard3.png HTTP/1.1" 200 171717 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"

83.149.9.216 - - [04/Jan/2015:05:13:44 +0000] "GET /presentations/logstash-monitorama-2013/plugin/highlight/highlight.js HTTP/1.1" 200 26185 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"

83.149.9.216 - - [04/Jan/2015:05:13:44 +0000] "GET /presentations/logstash-monitorama-2013/plugin/zoom-js/zoom.js HTTP/1.1" 200 7697 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"


2. 编写Logstash管道配置文件,放在Logstash/bin目录下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
input {
    file {
        path => "/opt/cx/logstash/apache-log.log"
        start_position => beginning
    }
}
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    elasticsearch {}
    stdout {}
}


3. 校验配置文件是否正确

1
2
[root@Server01 bin]# ./logstash -f apache-log-pipeline.conf --configtest
Configuration OK


4.启动Logstash 

[root@Server05 bin]#  ./logstash -f apache-log-pipeline.conf 

Settings: Default pipeline workers: 4

Pipeline main started


5.完整的Logstash配置文件如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
input {
    file {
        path => "/opt/cx/logstash/apache-log.log"
        start_position => beginning
    }
}
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    elasticsearch {
        hosts=>["10.0.10.5:9200"]
    }
    stdout {}
}




本文转自 genuinecx 51CTO博客,原文链接:http://blog.51cto.com/favccxx/1812383,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
『Logstash』Logstash配置文件详解
📣读完这篇文章里你能收获到 - Logstash配置文件详解
42 0
《CUDA高性能并行计算》----0.5 本书的组织结构
除了本章之外,本书包含有九章正文和四个附录。正文章节提供了大多数读者需要掌握的核心知识,而附录用于查缺补漏,补充背景知识。我们的呈现方式鼓励你积极参与到CUDA实践之中。为了充分利用本书,请在你阅读这些章节时,亲自创建、测试和修改书中的应用程序(也称为app)。
1538 0
logstash 常见解决方法
1. logstash 无法连接 kafka logstash 版本:   logstash-1.5.4-1.noarch.rpm logstash.log 错误信息: {:timestamp=>"2015-11-16T18:41:00.365000+0800", :message=>"The error reported is: \n uninitialized
1726 0
c3p0配置
简介  C3P0是一个开源的JDBC连接池,它实现了数据源和JNDI绑定,支持JDBC3规范和JDBC2的标准扩展。目前使用它的开源项目有Hibernate,Spring等。 C3P0配置  <c3p0-config>  <default-config>  <!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 -->  &lt
1047 0
+关注
20377
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载