logstash之input

简介:

input区块提供logstash的事件来源,常用的插件有file,stdin,syslog,kafka等

更多input插件知识请查看官方文档

 

stdin插件:

从标准输入读取事件

示例:

input {

    stdin {

        add_field => {"key" => "value"}

        codec => "plain"

        type => "std"

        tags => ["test"]

    }

}

 

add_field:事件中添加一个字段

codec:codec是一个编解码器,在输入前对数据进行编解码,无需在filter中使用特定的插件处理

type:加上一个类型字段,用来标记事件类型

tags:标记事件的某方面属性。这是一个数组,一个事件可以有多个标签。

 

file插件:

Logstash 使用一个名叫FileWatch的Ruby Gem库来监听文件变化。这个库支持 glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据。

sincedb文件中记录了每个被监听的文件的 inode number, major device number, minor device number和byte offset

示例:

input {

    file {

        path => "/var/log/test.log"

        type => "test"

        sincedb_path => "/tmp/.sincedb_test"

        start_positon => "beginning"

    }

}

path:文件路径,可使用通配符,如/var/log/*.log,/var/**/*.log(**表示递归所有子目录)

type:加上一个类型字段,用来标记事件类型

sincedb_path:定义sincedb文件的位置(默认在用户家目录下,只能是beginning,end)

start_position:从什么位置开始读取文件数据,默认是结束位置

 

kafka插件:

该插件从kafka中的topic中读取事件

示例:

input {

    kafka {

        zk_connect => "10.10.10.6:2181,10.10.10.8:2181,10.10.10.9:2181"

        topic_id => "command_audit_log"

        codec => "json"

        consumer_threads => 5

        type => "command-audit"

    }

}

 

zk_connect:zookeeper的主机名和端口

topic_id: 指定消费主题

consumer_threads:定义分区读取数据的线程数











本文转自 曾哥最爱 51CTO博客,原文链接:http://blog.51cto.com/zengestudy/1832820,如需转载请自行联系原作者
目录
相关文章
|
3月前
|
JavaScript
rollup的input配置和output配置详解
【8月更文挑战第5天】rollup的input配置和output配置详解
136 4
rollup的input配置和output配置详解
|
监控 容器
Filebeat配置顶级字段Logstash在output输出到Elasticsearch中的使用
Filebeat配置顶级字段Logstash在output输出到Elasticsearch中的使用
238 0
|
SQL 存储 关系型数据库
logstash-input-jdbc 同步原理及相关问题解读
前言: 基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点,以下研究主要针对 logstash-input-jdbc 展开。 针对logstash-input-jdbc常见的几个疑难问题,部分问题也在git和stackoverflow进行了激烈讨论,以下统一给出验证和解答。
359 0
|
SQL 数据库连接 数据库
Logstash详解之——input模块
Logstash由三个组件构造成,分别是input、filter以及output。我们可以吧Logstash三个组件的工作流理解为:input收集数据,filter处理数据,output输出数据。至于怎么收集、去哪收集、怎么处理、处理什么、怎么发生以及发送到哪等等一些列的问题就是我们接下啦要讨论的一个重点。
10219 0
|
编解码
collectd 与 logstash配置
节点 node1: 配置logstash node2: 配置collectd, collectd收集本地的信息, 通过配置将信息发送到node1节点 node1安装配置logstash rpm -ivh logstash.
1230 0