ELK+Redis日志流程展示

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介:

业务流程架构图:

wKiom1hCySCiSmlZAABCPg7XKrQ543.png

一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统

架构图描述:

    日志收集系统:(数据来源)生产者产生的日志记录行为,通过被logstash收集、转发,然后传送给redis做序列话,最后通过ELK处理分析展示。

 elasticSearch会对数据做存储,索引(基于Lunce),再kibana中建立对elasticSearch的链接,实时的抓取索索引后的数据,这样数据就可以实时的进行展示,通过一些数据组装,查询条件,得到我们想要的结果(可以通过各种方式例如图表,表格,折线图等显示)



效果图:

wKiom1hCy2rh2idsAACBj59aZcc120.png-wh_50


####

一、ELK搭建

http://dbspace.blog.51cto.com/6873717/1879106

二、Redis部署

 注意redis必须是3.0版本以上,不然会有各种问题,之前遇到坑

三、根据架构编写logstash的日志收集配置

[root@mycat conf]# cat /usr/local/logstash/conf/logstash_client.conf 

input{

    file{

        type => "log_count"

        path => "/var/log/messages"

}

}

output{

    redis{

        host => "192.168.1.114"

        port => 6379

        data_type => "list"

        key => "key_count"

        db => 0

}

}

四、编写logstash的配置从redis读取数据转发到ELK

[root@mycat conf]# cat /usr/local/logstash/conf/logstash_server.conf 

input{

    redis{

host => "192.168.1.114"

port => 6379

type => "redis-input"

data_type => "list"

key => "key_count"

db => 0

}

}

output{

    elasticsearch{

hosts =>"192.168.1.114:9200"

codec =>"json"

}

}

###红色部分要相同

启动2个服务

 /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_server.conf &

 /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_client.conf &

五、饼图分析


wKioL1hC0pvCf977AAEwLOGFG-8367.png-wh_50



本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/1879232

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
3月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
1月前
|
存储 监控 安全
|
1月前
|
存储 SQL NoSQL
|
2月前
|
NoSQL Java Redis
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
这篇文章介绍了如何使用Spring Boot整合Apache Shiro框架进行后端开发,包括认证和授权流程,并使用Redis存储Token以及MD5加密用户密码。
42 0
shiro学习四:使用springboot整合shiro,正常的企业级后端开发shiro认证鉴权流程。使用redis做token的过滤。md5做密码的加密。
|
2月前
|
存储 Prometheus NoSQL
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
34 3
|
4月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
145 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
4月前
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
4月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
7天前
|
存储 缓存 NoSQL
解决Redis缓存数据类型丢失问题
解决Redis缓存数据类型丢失问题
131 85
|
2月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
84 6