Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 前言: 随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志。哈哈 以上都是新浪的信息~不是我们小公司的分析业务规模。当然为了使得运行在客户端的软件有良好的体验,并且得到有用的数据,我们需要对这些系统产生的数据,进行统计和分析,这

前言:
随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志。哈哈 以上都是新浪的信息~不是我们小公司的分析业务规模。

当然为了使得运行在客户端的软件有良好的体验,并且得到有用的数据,我们需要对这些系统产生的数据,进行统计和分析,这个过程通常包括数据采集,清洗,建模,分析,报表等。接下来在本篇文章中,将会构建一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统。
平台架构:
这里写图片描述
nginx作为前端服务器 生成业日志,logstash实时的从业务日志中数据数据(可以进行响应的过滤,一个Logstash进程可以有多个输入源,所以一个Logstash进程可以应付一台服务器上的所有日志),然后把数据输入到redis中,redis只做消息队列不对消息做处理和存储(Redis是Logstash官方推荐的Broker角色“人选”,支持订阅发布和队列两种数据传输模式),然后redis会把数据转给elasticSearch(同时可以对错误信息进行过滤 发送邮件提醒),elasticSearch会对数据做存储,索引(基于Lunce),再kibana中建立对elasticSearch的链接,实时的抓取索索引后的数据,这样数据就可以实时的进行展示,通过一些数据组装,查询条件,得到我们想要的结果(可以通过各种方式例如图表,表格,折线图等显示)
效果展示:

这里写图片描述
再看一下以前我们是如何查看日志的:
线上日志逐个tail+grep
编写脚本,下载某个时间范围内的全部日志到本地再搜索
tail+grep或者把日志下载下来再搜索,可以应付不多的主机和不多的应用部署场景。但对于多机多应用部署就不合适了。这里的多机多应用指的是同一种应用被部署到几台服务器上,每台服务器上又部署着不同的多个应用。可以想象,这种场景下,为了监控或者搜索某段日志,需要登陆多台服务器,执行多个tail -F和grep命令。一方面这很被动。另一方面,效率非常低,数次操作下来,你心情也会变糟。是不是看的眼花料哦乱~

这里写图片描述

系统版本 阿里云 centos 6.5 64位
软件版本 (版本更新频繁并且各个软件之间兼容性有问题,主要是elk之间的,经测试一下版本可以使用)
logstash-2.1.1,elasticsearch-2.1.0,redis-2.8.4,kibana-4.3.1-linux-x64
一、安装logstash
linux下 直接 wget https://download.elastic.co/logs … gstash-2.1.1.tar.gz
然后解压 tar -zxvf logstash-2.1.1.tar.gz 即可。

二、安装elasticsearch
linux下安装elasticsearch :http://www.52itstyle.com/thread-20114-1-1.html

三、安装 redis
linux下redis安装和使用:http://www.52itstyle.com/thread-20084-1-1.html

四、安装kibana
linux下安装kibana:http://www.52itstyle.com/thread-20127-1-1.html

以上软件 启动方式见链接。

这里主要说一下 如何收集Tomcat异常日志:
一、比如我们的日志 放在tomcat/log目录下 异常日志格式为
52itstyle_error.2016-03-01.txt #异常信息
二、编写logstash shipper 收集日志信息

input {
    file {
        type => "tomcat_itstyle"
        tags => [ "tomcat_error", "log4j" ]
        path => "/tomcat7/log/*error*.txt"
    }
}
filter {
    if [type] == "tomcat_itstyle" {
        grok {
            match => { 
               "message" => "(?m)%{TIMESTAMP_ISO8601:logtime}"
            }
        }
        multiline {
                      pattern => "^[^\[]"
                      what => "previous"
                  }
        mutate {
            split => ["message", "|"]
        }
    }
}
output {
    stdout {
            codec => rubydebug 
        }
    redis {
        host => "127.0.0.1"
        port => 6379
        data_type => "list"
        key => "logstash-tomcat-error"
        password => "123456"
        db => 0
    }
}

二、编写logstash indexer整理日志信息

<font size="3">input {
        redis {
                host => "127.0.0.1"
                port => 6379
                data_type => "list"
                key => "logstash-tomcat-error"
                type => "redis-input"
                password => "123456"
                db => 0
        }
}
output {
        elasticsearch {        
               hosts => ["127.0.0.1:9200"] 
        }
        exec {
              #发送错误日志 到指定邮件
              command => "echo '%{@timestamp} %{type}: %{message}' | mail -s tomcat_error_message 345849402@qq.com"
        }
}

分别启动 indexer 和 shipper
切换到 logstash/bin 下执行一下命令
./logstash -f indexer.conf &
./logstash -f shipper .conf &

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
13天前
|
存储 NoSQL 关系型数据库
Redis 日志篇:无畏宕机快速恢复的杀手锏
Redis 日志篇:无畏宕机快速恢复的杀手锏
85 0
|
13天前
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
238 1
|
13天前
|
JSON Prometheus Cloud Native
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
|
13天前
|
Unix Linux iOS开发
Elasticsearch如何配置日志
Elasticsearch如何配置日志
|
4天前
|
监控 应用服务中间件 nginx
使用 Docker Compose V2 快速搭建日志分析平台 ELK (Elasticsearch、Logstash 和 Kibana)
ELK的架构有多种,本篇分享使用的架构如图所示: Beats(Filebeat) -> -> Elasticsearch -> Kibana,目前生产环境一天几千万的日志,内存占用大概 10G
33 4
|
13天前
|
搜索推荐 Java 数据库
springboot集成ElasticSearch的具体操作(系统全文检索)
springboot集成ElasticSearch的具体操作(系统全文检索)
|
13天前
|
存储 监控 NoSQL
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
53 0
|
13天前
|
NoSQL 关系型数据库 MySQL
Docker安装详细步骤及相关环境安装配置(mysql、jdk、redis、自己的私有仓库Gitlab 、C和C++环境以及Nginx服务代理)
Docker安装详细步骤及相关环境安装配置(mysql、jdk、redis、自己的私有仓库Gitlab 、C和C++环境以及Nginx服务代理)
282 0
|
13天前
|
NoSQL Java 应用服务中间件
使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包
使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包
使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包
|
11天前
|
关系型数据库 MySQL 数据库
mysql数据库bin-log日志管理
mysql数据库bin-log日志管理