Logstash 安装

简介: https://www.elastic.co/cn/downloads/logstash官网一、下载logstash[root@jiaxin-ceshi ~]# cd /usr/local/src/[root@jiaxin-ceshi src]# wget https://artifacts.

https://www.elastic.co/cn/downloads/logstash官网
一、下载logstash
[root@jiaxin-ceshi ~]# cd /usr/local/src/
[root@jiaxin-ceshi src]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.2.tar.gz
[root@jiaxin-ceshi src]# tar xf logstash-6.4.2.tar.gz
[root@jiaxin-ceshi src]# cd logstash-6.4.2
[root@jiaxin-ceshi logstash-6.4.2]# bin/logstash -f logstash.conf
could not find java; set JAVA_HOME or ensure java is in PATH

没有找到java 请下载安装JDK
152
JDK1.8官网下载
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[root@jiaxin-ceshi src]# wget http://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.tar.gz?AuthParam=1540276120_a53a7ca68560d86acefed40e892da884
153

[root@jiaxin-ceshi src]# tar xf jdk-8u191-linux-x64.tar.gz
[root@jiaxin-ceshi src]# mv jdk1.8.0_191/ jdk
[root@jiaxin-ceshi src]# pwd
/usr/local/src
[root@jiaxin-ceshi src]# vim /etc/profile
154

JDK1.8

JAVA_HOME=/usr/local/src/jdk
JRE_HOME=/usr/local/src/jdk/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
155

[root@jiaxin-ceshi src]# source /etc/profile

[root@jiaxin-ceshi src]# java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)
二、[root@jiaxin-ceshi logstash-6.4.2]# bin/logstash -e 'input { stdin { } } output { stdout {} }'

[root@jiaxin-ceshi logstash-6.4.2]# vim logs.conf

input {

file {
    path => "/usr/local/nginx/logs/access.log"
    type => "error"//type是给结果增加一个type属性,值为"error"的条目
    start_position => "beginning"//从开始位置开始读取
    # 使用 multiline 插件,传说中的多行合并
    codec => multiline {
        # 通过正则表达式匹配,具体配置根据自身实际情况而定
        pattern => "^\d"
        negate => true
        what => "previous"
    }
}

}

可配置多种处理规则,他是有顺序,所以通用的配置写下面

filter {

grok {

match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }

 }

}

output {

# 输出到 elasticsearch
elasticsearch {
    hosts => ["127.0.0.1:9200"]
    index => "error-%{+YYYY.MM.dd}"//索引名称
}

}
160

[root@jiaxin-ceshi logstash-6.4.2]# bin/logstash -f logs.conf

相关文章
|
消息中间件 存储 编解码
『Logstash』Logstash配置文件详解
📣读完这篇文章里你能收获到 - Logstash配置文件详解
1499 0
『Logstash』Logstash配置文件详解
|
SQL JSON 关系型数据库
Logstash极简教程
一个灵活的开源数据收集、处理、传输工具。logstash包含三个模块,输入、过滤和输出。其中输入、输出是必须的,过滤是可选的。logstash工作流程为从数据源中获取数据、对数据做过滤和简单清洗、输出到指定的目标中。
1122 0
Logstash极简教程
|
存储 Linux 数据处理
Logstash 7.11安装配置
Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。Logstash 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构,从 IP 地址解码出地理坐标,匿名化或排除敏感字段,并简化整体处理过程。数据往往以各种各样的形式,或分散或集中地存在于很多系统中。Logstash 支持各种输入选择,可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
326 0
Logstash 7.11安装配置
|
关系型数据库 MySQL 数据库
【工具安装】logstash的安装
Logstash 它是 ES 下的一款开源软件,它能够同时从多个来源采集数据、转换数据,然后将数据发送到 Eleasticsearch 中创建索引。 我们在项目中通常使用 Logstash 将数据库(如 MySQL)中的数据采用到ES索引中。也就是Logstash的工作是从MySQL中读取数据,向ES中创建索引,这里需要提前创建mapping的模板文件以便logstash使用。
139 0
【工具安装】logstash的安装
|
存储 数据可视化 网络协议
ElasticStack常用工具:ElasticSearch、Kibana、Beats、Logstash
ElasticStack常用工具:ElasticSearch、Kibana、Beats、Logstash
92 0
|
数据可视化
ELK 之 Logstash 的安装与导入数据
ELK 之 Logstash 的安装与导入数据
538 0
ELK 之 Logstash 的安装与导入数据
|
监控 Linux 开发工具
ELK系列一、安装Elasticsearch,Logstash,Kibana
Centos 7 安装 Elastic Stack 7.14.0
564 0
ELK系列一、安装Elasticsearch,Logstash,Kibana
|
网络安全 开发工具
|
编解码
collectd 与 logstash配置
节点 node1: 配置logstash node2: 配置collectd, collectd收集本地的信息, 通过配置将信息发送到node1节点 node1安装配置logstash rpm -ivh logstash.
1229 0