[logstash-input-redis]插件使用详解

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介:

Redis插件参数配置详解

最小化配置


input {
redis {
data_type => "list" #logstash redis插件工作方式
key => "logstash-test-list" #监听的键值
host => "127.0.0.1" #redis地址
port => 6379 #redis端口号
}
}
output {
stdout{}
}

详细配置


input {
redis {
batch_count => 1 #EVAL命令返回的事件数目
data_type => "list" #logstash redis插件工作方式
key => "logstash-test-list" #监听的键值
host => "127.0.0.1" #redis地址
port => 6379 #redis端口号
password => "123qwe" #如果有安全认证,此项为密码
db => 0 #redis数据库的编号
threads => 1 #启用线程数量
}
}
output {
stdout{}
}

threads参数测试

单个logstash启动后,如果配置多个threads,那么最后打印出的信息与队列中的信息顺序是不一样的。

下面给出了2w数据量,logstash在不同线程下的读取速度:

关于其他的参数

db

Redis里面有数据库的概念,一般是16个,默认登录后是0,可以通过命令选择。如果应用系统选择使用了不同的数据库,那么可以通过配置这个参数从指定的数据库中读取信息。

key

Redis中的数据都是通过键值来索引的,不管是字符串还是列表,所以这个key相当于数据库中的表。
如果是list或者channel模式,key都是指定的键值;而如果是pattern_channel,那么key可以通过glob通配的方式来指定。

password

有的Redis为了安全,是需要进行验证的。只有设置了password,才能正确的读取信息。相反,如果redis没有设置密码,而logstash中配置了密码,也会报错!

batch_count

这个属性设置了服务器端返回的事件数目,比如设置了5条,那么每次请求最多会直接获取5条日志返回。

data_type logstash工作的类型

logstash中的redis插件,指定了三种方式来读取redis队列中的信息。

  • list=>BLPOP
  • channel=>SUBSCRIBE
  • pattern_channel=>PSUBSCRIBE

其中list,相当于队列;channel相当于发布订阅的某个特定的频道;pattern_channel相当于发布订阅某组频道。

【list】运行结果

【channel】运行结果

【pattern_channel】运行结果

可以看到channel与pattern_channel区别就在于一个是监听特定的键值,一个是监听某一组键值。

本文转自博客园xingoo的博客,原文链接:[logstash-input-redis]插件使用详解,如需转载请自行联系原博主。
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
NoSQL 数据可视化 Redis
Datagrip2020连接redis,可视化插件安装
Datagrip2020连接redis,可视化插件安装
788 0
|
4月前
|
缓存 NoSQL Serverless
函数计算产品使用问题之如何使用Redis作为缓存插件
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
108 8
|
6月前
|
缓存 Rust NoSQL
Higress 基于自定义插件访问 Redis
本文介绍了Higress,一个支持基于WebAssembly (WASM) 的边缘计算网关,它允许用户使用Go、C++或Rust编写插件来扩展其功能。文章特别讨论了如何利用Redis插件实现限流、缓存和会话管理等高级功能。
153471 22
|
NoSQL Redis 数据安全/隐私保护
Redis Connector / UE4 DTRedis 插件说明
Redis Connector / UE4 DTRedis 插件说明
125 0
|
JSON 自然语言处理 NoSQL
Redis 数据库必备神器!多标签、多语言、多插件支持,让你轻松管理 Redis 数据库!
Redis 是一个非常流行的 NoSQL 数据库,它支持多种数据结构和高效的内存读写操作,因此被广泛应用于各种场景中。而 Redis Desktop Manager (RDM) 则是一个基于 Redis 的 GUI 客户端软件,它提供了直观的图形界面,方便用户管理和操作 Redis 数据库。
200 0
|
NoSQL Redis
Redis布隆过滤器插件安装及使用
Redis布隆过滤器插件安装及使用
526 0
|
NoSQL Java Redis
基于Redis的Spring Boot 幂等性插件模块封装
[基于Redis支持集群、哨兵等模式]
353 0
|
NoSQL Redis 数据库
我的mqtt协议和emqttd开源项目个人理解(14) - 使用redis插件来实现访问控制
我的mqtt协议和emqttd开源项目个人理解(14) - 使用redis插件来实现访问控制
412 0
|
运维 监控
Zabbix监控插件-Nginx、TCP、Redis、Memcached
2014年写的zabbix监控插件,主要监控TCP的11种状态,Nginx的状态,Redis的和Memcached的状态。
326 0
Zabbix监控插件-Nginx、TCP、Redis、Memcached
|
数据采集 NoSQL 数据库