logstash之input

简介:

input区块提供logstash的事件来源,常用的插件有file,stdin,syslog,kafka等

更多input插件知识请查看官方文档

 

stdin插件:

从标准输入读取事件

示例:

input {

    stdin {

        add_field => {"key" => "value"}

        codec => "plain"

        type => "std"

        tags => ["test"]

    }

}

 

add_field:事件中添加一个字段

codec:codec是一个编解码器,在输入前对数据进行编解码,无需在filter中使用特定的插件处理

type:加上一个类型字段,用来标记事件类型

tags:标记事件的某方面属性。这是一个数组,一个事件可以有多个标签。

 

file插件:

Logstash 使用一个名叫FileWatch的Ruby Gem库来监听文件变化。这个库支持 glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据。

sincedb文件中记录了每个被监听的文件的 inode number, major device number, minor device number和byte offset

示例:

input {

    file {

        path => "/var/log/test.log"

        type => "test"

        sincedb_path => "/tmp/.sincedb_test"

        start_positon => "beginning"

    }

}

path:文件路径,可使用通配符,如/var/log/*.log,/var/**/*.log(**表示递归所有子目录)

type:加上一个类型字段,用来标记事件类型

sincedb_path:定义sincedb文件的位置(默认在用户家目录下,只能是beginning,end)

start_position:从什么位置开始读取文件数据,默认是结束位置

 

kafka插件:

该插件从kafka中的topic中读取事件

示例:

input {

    kafka {

        zk_connect => "10.10.10.6:2181,10.10.10.8:2181,10.10.10.9:2181"

        topic_id => "command_audit_log"

        codec => "json"

        consumer_threads => 5

        type => "command-audit"

    }

}

 

zk_connect:zookeeper的主机名和端口

topic_id: 指定消费主题

consumer_threads:定义分区读取数据的线程数











本文转自 曾哥最爱 51CTO博客,原文链接:http://blog.51cto.com/zengestudy/1832820,如需转载请自行联系原作者
目录
相关文章
|
Java API Maven
一文搞懂Java日志级别,重复记录、丢日志问题(下)
一文搞懂Java日志级别,重复记录、丢日志问题
1654 0
一文搞懂Java日志级别,重复记录、丢日志问题(下)
|
4月前
|
架构师 IDE Java
【Java架构师】Maven中lombok那点事
SpringBoot项目中Lombok需在maven-compiler-plugin中配置`annotationProcessorPaths`,确保编译期生成getter/setter等方法;而`excludes`则在打包时排除Lombok依赖,减小体积,因运行时已无需该库。
375 1
|
8月前
|
数据安全/隐私保护 Windows
PDF24 Tools离线版下载,PDF编辑阅读工具
PDF24 Tools是一款免费且易于使用的在线PDF工具合集,支持网页版和Windows客户端。它包含近50个PDF处理工具,如PDF创建、合并、压缩、加密、解密、编辑、提取、转换等,所有功能均可离线使用,无需登录,操作简便。软件界面直观,功能丰富,适合各类PDF文件处理需求,是办公学习的实用工具。下载即用,无限制,完全免费,广受用户好评。
3157 6
|
消息中间件 开发工具 RocketMQ
消息队列 MQ产品使用合集之如何关闭客户端的日志记录
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
SQL 监控 druid
Java Druid 面试题
Java Druid 连接池相关基础面试题
264 2
|
机器学习/深度学习 人工智能 分布式计算
人工智能与大数据的融合应用##
随着科技的快速发展,人工智能(AI)和大数据技术已经深刻地改变了我们的生活。本文将探讨人工智能与大数据的基本概念、发展历程及其在多个领域的融合应用。同时,还将讨论这些技术所带来的优势与挑战,并展望未来的发展趋势。希望通过这篇文章,读者能够对人工智能与大数据有更深入的理解,并思考其对未来社会的影响。 ##
|
传感器 监控 数据处理
基于单片机的液体点滴速度监控设计
基于单片机的液体点滴速度监控设计
407 0
基于单片机的液体点滴速度监控设计
|
移动开发 缓存 JavaScript
30 道 Vue 面试题,内含详细讲解(涵盖入门到精通,自测 Vue 掌握程度
30 道 Vue 面试题,内含详细讲解(涵盖入门到精通,自测 Vue 掌握程度
504 6
|
JavaScript
vue + element-ui + qrcodejs2 实现二维码生成
1、在所在项目下安装插件 ```js npm i qrcodejs2 ``` 2、在需要生成二维码的页面引入qrcodejs ```js import QRCode from 'qrcodejs2' ``` 3、使用 ```html <el-button size="mini" type="primary" icon="el-icon-picture-outline" round @click="GenerateQRCode()">生成二维码</el-button></div> <div id="qrcode" ref="qrcode"></div> ``` 回调函数 ```js //
382 0
|
Java 关系型数据库 数据库连接
Spring 多数据源配置详解
前言 数据源是 JDBC 规范中用来获取关系型数据库连接的一个接口,主要通过池化技术来复用连接。
802 0
Spring 多数据源配置详解