用Kibana+Logstash+Elasticsearch快速搭建实时日志查询、收集与分析系统

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 安装环境先看看都需要安装什么软件包ruby 运行Kibana 必须,rubygems 安装ruby扩展必须bundler 功能类似于yumJDK 运行java程序必须 redi...

安装环境

先看看都需要安装什么软件包
ruby 运行Kibana 必须,
rubygems 安装ruby扩展必须
bundler 功能类似于yum
JDK 运行java程序必须 
redis 用来处理日志队列
logstash 收集、过滤日志
ElasticSearch 全文搜索服务(logstash集成了一个)
kibana 页面展示

192.168.18.240 logstash index,kibana,JDK
192.168.18.241 logstash agent,JDK
192.168.18.242 redis
192.168.18.243  ElasticSearch,JDK

先安装redis (192.168.18.242)
# wget http://redis.googlecode.com/files/redis-2.6.12.tar.gz
# tar zxvf redis-2.6.12.tar.gz 
# mv redis-2.6.12 redis 
# cd redis
# make -j24
# make install
# vi /root/soft/redis/redis.conf
修改level为 loglevel verbose
# redis-server /root/soft/redis/redis.conf & 
看看 redis服务的状态
#  lsof -i:6379 

安装 elasticsearch   (192.168.18.243)
 elasticsearch会依赖于java
 
# vi /etc/apt/sources.list
deb http: //ftp.debian.org/debian/ squeeze main non-free
deb-src http: //ftp.debian.org/debian/ squeeze main non-free
# apt-get update
# apt-cache search sun-java
# apt-get install sun-java6-jdk sun-java6-jre
# java -version

# wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.20.6.zip
# unzip elasticsearch-0.20.6.zip
# mv elasticsearch-0.20.6 /usr/local/share/elasticsearch
# cd /usr/local/share/elasticsearch/bin/
# ./elasticsearch -f

在 logstash index上安装基础的软件环境:   (192.168.18.240)
# vi /etc/apt/sources.list
deb http: //ftp.debian.org/debian/ squeeze main non-free
deb-src http: //ftp.debian.org/debian/ squeeze main non-free
# apt-get update
# apt-cache search sun-java
# apt-get install sun-java6-jdk sun-java6-jre
# java -version


开始安装logstash ( 其实logstash 就是一个java脚本,不需要安装... 下载即用  )
# wget https://logstash.objects.dreamhost.com/release/logstash-1.1.9-monolithic.jar
#  vi /root/soft/redis.conf
input {
redis {
  host => '192.168.18.242'
  data_type => 'list'
  port => "6379"
  key => 'logstash:redis'
  type => 'redis-input'
  }
}

output {
    elasticsearch {
           host => '192.168.18.243'
           port => "9300"
    }
}

#  java -jar /root/soft/logstash-1.1.9-monolithic.jar agent -f /root/soft/redis.conf -- web --backend elasticsearch:///?local

 现在可以通过浏览器访问一下 http://192.168.18.240:9292 看看logstash是的页面是个什么样子


配置logstash的agent (192.168.18.241)
安装sun-java6-jre sun-java6-jdk 
# wget https://logstash.objects.dreamhost.com/release/logstash-1.1.9-monolithic.jar
#  vi /root/soft/redis.conf
input {
        stdin {
                type => "stdin-type"
        }

        file {
                type => "linux-syslog"
                # Wildcards work, here :)
                path => [ "/var/log/*.log", "/var/log/messages", "/var/log/syslog" ]
        }
}

output {
     redis {
      host => '192.168.18.242'
      data_type => 'list'
      key => 'logstash:redis'
       }
}
#  java -jar /root/soft/logstash-1.1.9-monolithic.jar agent -f /root/soft/redis.conf &


OK,最后就是 Kibana了 ,我把Kibana装在了 logstash index上面
下载地址为 http://kibana.org/intro.html

  1. # apt-get install ruby rubygems
  2. # gem install bundler
  3. # bundle install      ( /var/lib/gems/1.8/bin/bundle install )
  4. 以上为ruby运行环境

  5.  wget https://github.com/rashidkpc/Kibana/archive/v0.2.0.tar.gz
  6. # tar zxvf Kibana-0.2.0.tar.gz 
  7. # cd Kibana-0.2.0 
  8. 直接安装就好了,非常简单,因为之前咱们已经安装好了 bundle 
  9. 编辑配置文件,指定 elasticsearch 的位置 
  10. [192.168.18.240 root@nodec:/soft/Kibana-0.2.0
  11. # vim KibanaConfig.rb 
  12. ..... 
  13.   Elasticsearch = "192.168.18.243:9200" 
  14.   KibanaPort = 5601 
  15.   KibanaHost = '0.0.0.0' 
  16. ..... 
  17. 主要是这几个参数 
  18. 启动的话需要ruby 
  19. [192.168.18.240 root@nodec:/soft/Kibana-0.2.0
  20. # /usr/bin/ruby kibana.rb & 
  21. [192.168.18.240 root@nodec:/soft/Kibana-0.2.0
  22. # == Sinatra/1.3.5 has taken the stage on 5601 for development with backup from Thin 
  23. >> Thin web server (v1.5.0 codename Knife) 
  24. >> Maximum connections set to 1024 
  25. >> Listening on 0.0.0.0:5601, CTRL+C to stop 
  26. 如果ruby的东西都不缺的话,启动会很顺利,ok 现在看看5601端口的状态 
  27. [192.168.233.128 root@nodec:/soft/Kibana-0.2.0
  28. # lsof -i:5601 
  29. COMMAND  PID USER   FD   TYPE DEVICE SIZE NODE NAME 
  30. ruby    3116 root    5u  IPv4  28947       TCP *:esmagent (LISTEN) 


访问一下 试试看 http://192.168.18.240:5601 尝试搜索一下php的错误日志,比如mysql

用Kibana+Logstash+Elasticsearch快速搭建实时日志查询、收集与分析系统


呵呵,要的就是这个效果,日志会实时的汇总到 logstash index 上供我们查询,当然这只是开始使用logstash的第一步而已,更多的高级功能可以看看官方文档
http://logstash.net/docs/1.1.9/

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
5天前
|
弹性计算 运维 Serverless
超值选择:阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性
本文介绍了阿里云Elasticsearch Serverless服务的高性价比与高度弹性灵活性。
|
18天前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
|
1月前
|
存储 JSON Java
ELK 圣经:Elasticsearch、Logstash、Kibana 从入门到精通
ELK是一套强大的日志管理和分析工具,广泛应用于日志监控、故障排查、业务分析等场景。本文档将详细介绍ELK的各个组件及其配置方法,帮助读者从零开始掌握ELK的使用。
|
1月前
|
存储 SQL 监控
|
1月前
|
运维 监控 安全
|
1月前
|
监控 关系型数据库 MySQL
分析慢查询日志
【10月更文挑战第29天】分析慢查询日志
42 3
|
1月前
|
机器学习/深度学习 运维 监控
开源日志分析Kibana
【10月更文挑战第22天】
41 3
|
1月前
|
监控 关系型数据库 数据库
怎样分析慢查询日志?
【10月更文挑战第29天】怎样分析慢查询日志?
42 2
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
282 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
10天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
下一篇
DataWorks