logstash日志系统搭建

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

本文将介绍如果使用logstashelasticsearchkibana搭建一个日志分析系统。Logstash支持的日志类型非常的广泛,支持nginx,postfix.windows系统日志,java日志以及mysql慢查询日志,Docker日志等,并带有强大的过滤器功能,还可以输出到elasticsearchnagios,mail等,功能相当的强大,在我们要部署的日志分析系统中logstash用来收集各种日志,然后推送给elasticsearchkibana负责通过web接口最终展示出来。

环境介绍:

操作系统版本:centos6.6 64bit

Logstash版本: logstash-2.0.0.tar.gz

Elasticsearch版本:elasticsearch-2.1.0.tar.gz

Kibana版本:Kibana 4.2.1

Java版本:1.8.0_45

 

一:软件下载

1
2
3
# wget https://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz
# wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.1.0/elasticsearch-2.1.0.tar.gz
# wget https://download.elastic.co/kibana/kibana/kibana-4.2.1-linux-x64.tar.gz

二:软件安装

1:安装java环境

1
2
3
4
# java -version 
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

2:解压软件包

1
2
3
4
5
6
# tar -zxvpf logstash-2.0.0.tar.gz 
# mv logstash-2.0.0 /usr/local/logstash
# tar -zxvpf  elasticsearch-2.1.0.tar.gz
# mv elasticsearch /usr/local/elasticsearch
# tar -zxvpf kibana-4.2.1-linux-x64.tar.gz
# mv kibana-4.2.1 /usr/local/kibana

3:启动elasticsearchkibana

这里可以根据自己的实际需求来修改yml配置文件

1
2
3
4
# useradd  yang
# chown  -R  yang.yang /usr/local/elasticsearch/
# nohup su - yang -c /usr/local/elasticsearch/bin/elasticsearch &
# /usr/local/kibana/bin/kibana

4:配置logstash,运行测试

1
# logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

wKioL1ZewQujURhJAABW-A5JlTY920.png

配置文件方式运行logstash测试将数据推送到elasticsearch

1
2
3
4
5
6
7
8
9
10
11
12
13
# cat /usr/local/logstash/etc/logstash.conf 
input {
  stdin { }
}
 
output {
  stdout {
  codec => rubydebug {}
}
  elasticsearch { 
  hosts => "192.168.115.5" } 
# /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstach.conf

wKiom1ZewNTBGy1LAACzo8qWIr0866.png

http://192.168.115.5:9200/_search?q=hello

wKiom1ZewO_h0ZgeAABrfyRsKko499.png

Kibana上配置相应的索引前缀

wKioL1ZewXmC43YaAAFisphsO_w189.pngwKiom1ZewSSRFV-4AAEUkydcaik776.png

本文转自斩月博客51CTO博客,原文链接http://blog.51cto.com/ylw6006/1718983如需转载请自行联系原作者


ylw6006

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
Java 应用服务中间件 nginx
微服务框架(二十九)Logstash Nginx 日志上报
此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker,及使用Spring Boot集成Dubbo、Mybatis等开源框架,其中穿插着Spring Boot中日志切面等技术的实现,然后通过gitlab-CI以持续集成为Docker镜像。 本文为Logstash Nginx 日志上报 本系列文章中所使用的框架版本为Spring Boot 2.0.3...
|
3月前
|
Dubbo Java 应用服务中间件
微服务框架(三十)Logstash Kong 日志上报
此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker,及使用Spring Boot集成Dubbo、Mybatis等开源框架,其中穿插着Spring Boot中日志切面等技术的实现,然后通过gitlab-CI以持续集成为Docker镜像。 本文为Logstash Kong 日志上报 本系列文章中所使用的框架版本为Spring Boot 2.0.3-...
|
3月前
|
JSON Java 数据格式
微服务框架(十三)Spring Boot Logstash日志采集
  本文为Spring Boot中Log4j2对接Logstash,进行日志采集。Logstah只支持log4j,使用log4j2时需要通过TCP插件调用 此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker,及使用Spring Boot集成Dubbo、Mybatis等开源框架,其中穿插着Spring Boot中日志切面等技术的实现,然后通过gitlab-CI以持续集成为Docker镜像。
|
7月前
|
存储 数据采集 安全
通过filebeat、logstash、rsyslog采集nginx日志的几种方式
由于nginx功能强大,性能突出,越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。
260 0
|
6月前
|
存储 NoSQL Redis
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
131 0
|
6月前
|
NoSQL Redis 索引
Filebeat收集日志数据传输到Redis,通过Logstash来根据日志字段创建不同的ES索引
Filebeat收集日志数据传输到Redis,通过Logstash来根据日志字段创建不同的ES索引
|
3月前
|
存储 监控 安全
ELK7.x日志系统搭建 1. elk基础搭建
ELK7.x日志系统搭建 1. elk基础搭建
67 0
|
3月前
|
消息中间件 数据可视化 关系型数据库
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
151 0
|
3月前
|
Linux
利用Logstash实现GrayLog日志转发到第三方日志平台
利用Logstash实现GrayLog日志转发到第三方日志平台
36 0
|
3月前
|
监控 NoSQL Redis
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
104 0

热门文章

最新文章