redis服务器及采集端设置

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介:

redislogstash.conf内容                #服务端配置,logstash抓取redis数据,配置名自取

 

例一                          #redis读数据

input {

   redis {

       host => "127.0.0.1"

       port => 6379

       type => "redis-input"

       data_type => "list"

       key => "logstash:redis"

    }

}

 

output {                                          #输出到ela

  

   stdout {}

   elasticsearch {

       cluster => "elasticsearch"

       codec => "json"

        protocol => "http"

    }

}

 

例二                                          #redis读数据

 

  input {

 redis { 

   host => '192.168.233.130' 

   data_type => 'list' 

   port => "6379" 

   key => 'logstash:redis' 

   type => 'redis-input' 

        } 

        }

   

 output {                               #输出到ela

     elasticsearch { 

     embedded => true 

                   } 

        } 

 

 

 

logstash-kibama 9292

logstash-redis 6379

logstash-elasticsearch 9200
kibana 5601
 
 

 # vim redislogstash.conf                                #日志收集端配置,logstash集被监听日志文件数据,配置名自取

 
  input {                                      #收集监控端日志文件
      file {
      type => "producer"
      path => "/soft/apache.log"
      }
      file {
      type => "php-log"
      path => "/soft/php.log"
      }
  }
  filter {    # 日志内容里面只要有匹配 mysql或GET或error的内容就                   会被过滤出来,发送到 logstash index
         grep {
         match => [ "@message", "mysql|GET|error" ]
              }
         }
   
  output {                            #将收集的日志文件发送到redis
        redis {
        host => '192.168.233.130'
        data_type => 'list'
        key => 'logstash:redis'
         }
         }
 



测试程序发送数据 -> Redis消息队列 -> Logstash -> Elasticsearch集群
 

 通过管线化的思路增加索引速度

为了解决Redis队列的瓶颈问题,使用多管线机制,来增加整个系统的吞吐量,为此,我们同时部署了多个Redis实例,和对应数量的Logstash实例:

测试程序发送数据 -> Redis消息队列1 ->Logstash1 -> Elasticsearch集群

测试程序发送数据 -> Redis消息队列2 ->Logstash2 -> Elasticsearch集群

测试程序发送数据 -> Redis消息队列3 ->Logstash3 -> Elasticsearch集群

...

采用管线机制的好处是,扩展性是显而易见的
 
本文转自 wdy198622 51CTO博客,原文链接:http://blog.51cto.com/weimouren/1732075


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
1月前
|
缓存 监控 定位技术
|
1月前
|
监控 Kubernetes 安全
如何设置一个有效的远程管理工具来简化服务器的维护工作?
如何设置一个有效的远程管理工具来简化服务器的维护工作?
|
2月前
|
NoSQL Unix Linux
Redis 服务器
10月更文挑战第19天
27 1
|
2月前
|
缓存 NoSQL Ubuntu
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
57 3
|
2月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
50 1
|
2月前
|
Web App开发 安全 网络安全
tplink虚拟服务器设置方法
为了更全面地理解云服务及其在企业应用中的角色,推荐访问,他们提供了一系列高性能、安全稳定的云服务器解决方案,包括但不限于香港云服务器、高防服务器等,特别适合寻求全球化业务扩展的企业。蓝易云不仅拥有全球化的基础设施布局,还提供针对各种行业定制的全栈云解决方案,助力企业实现云端部署,跨越传统界限,即刻启航云端之旅。
42 0
|
2月前
|
存储 监控 NoSQL
Redis的实现二: c、c++的网络通信编程技术,让服务器处理多个client
本文讨论了在C/C++中实现服务器处理多个客户端的技术,重点介绍了事件循环和非阻塞IO的概念,以及如何在Linux上使用epoll来高效地监控和管理多个文件描述符。
29 0
|
17天前
|
人工智能 弹性计算 编解码
阿里云GPU云服务器性能、应用场景及收费标准和活动价格参考
GPU云服务器作为阿里云提供的一种高性能计算服务,通过结合GPU与CPU的计算能力,为用户在人工智能、高性能计算等领域提供了强大的支持。其具备覆盖范围广、超强计算能力、网络性能出色等优势,且计费方式灵活多样,能够满足不同用户的需求。目前用户购买阿里云gpu云服务器gn5 规格族(P100-16G)、gn6i 规格族(T4-16G)、gn6v 规格族(V100-16G)有优惠,本文为大家详细介绍阿里云gpu云服务器的相关性能及收费标准与最新活动价格情况,以供参考和选择。
|
22天前
|
机器学习/深度学习 人工智能 弹性计算
什么是阿里云GPU云服务器?GPU服务器优势、使用和租赁费用整理
阿里云GPU云服务器提供强大的GPU算力,适用于深度学习、科学计算、图形可视化和视频处理等多种场景。作为亚太领先的云服务提供商,阿里云的GPU云服务器具备灵活的资源配置、高安全性和易用性,支持多种计费模式,帮助企业高效应对计算密集型任务。
|
24天前
|
存储 分布式计算 固态存储
阿里云2核16G、4核32G、8核64G配置云服务器租用收费标准与活动价格参考
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,Hadoop、Spark集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择。目前2核16G配置按量收费最低收费标准为0.54元/小时,按月租用标准收费标准为260.44元/1个月。4核32G配置的阿里云服务器按量收费标准最低为1.08元/小时,按月租用标准收费标准为520.88元/1个月。8核64G配置的阿里云服务器按量收费标准最低为2.17元/小时,按月租用标准收费标准为1041.77元/1个月。本文介绍这些配置的最新租用收费标准与活动价格情况,以供参考。