ELK日志收集平台部署

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:

需求背景

       一位朋友的公司研发最近有一些苦恼。由于他们公司的后台服务有三台,每当后台服务运行异常,需要看日志排查错误的时候,都必须开启3个ssh窗口进行查看,研发们觉得很不方便,于是便有了统一日志收集与查看的需求。 

       这里,我用ELK集群,通过收集三台后台服务的日志,再统一进行日志展示,实现了这一需求。

       当然,当前只是进行了简单的日志采集,如果后期相对某些日志字段进行分析,则可以通过logstash以及Kibana来实现。


部署环境

 系统:CentOS 7

 软件:

           elasticsearch-6.1.1

           logstash-6.1.1

           kibana-6.1.1

下载地址:https://www.elastic.co/cn/products



搭建步骤

一:elasticsearch:

elasticsearch是用于存储日志的数据库。

下载elasticsearch软件,解压:

1
2
# tar -zxvf elasticsearch-6.1.1.tar.gz 
# mv elasticsearch-6.1.1 /opt/apps/elasticsearch

由于elasticsearch建议使用非root用户启动,使用root启动会报错,故需创建一个普通用户,并进行一些简单配置:

1
2
3
4
5
6
# useradd elk
# vi /opt/apps/elasticsearch/config/elasticsearch.yml
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled:  true
http.cors.allow-origin:  "*"

启动,并验证:

1
2
3
4
5
6
7
# su - elk
nohup  /opt/apps/elasticsearch/bin/elasticsearch  &
# netstat -ntpl | grep 9200
tcp        0      0 0.0.0.0:9200            0.0.0.0:*               LISTEN      6637 /java    
#curl 'localhost:9200/_cat/health?v'
epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1514858033 09:53:53  elasticsearch yellow          1         1    241 241    0    0      241             0                  -                 50.0%



二:logstash

logstash用于收集各服务器上的日志,然后把收集到的日志,存储进elasticsearch。收集日志的方式有很多种,例如结合redis或者filebeat,这里我们使用redis收集的方式。

安装logstash:

1
2
3
在所有服务器上:
# tar -zxvf logstash-6.1.1.tar.gz
# mv logstash-6.1.1 /opt/apps/logstash/

配置后台服务器,收集相关的日志:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
在三台后台服务器上新建logstash文件,配置日志收集:
# vi /opt/conf/logstash/logstash.conf    
input {
         file  {
                         #指定type
                 type  =>  "web_stderr"       
                 #匹配多行的日志        
                 codec => multiline {
                         pattern =>  "^[^0-9]"
                         what =>  "previous"
                 }
                 #指定本地的日志路径
                 path => [  "/opt/logs/web-stderr.log" ]
                 sincedb_path =>  "/opt/logs/logstash/sincedb-access"
         }
         file  {
                 type  =>  "web_stdout"
                 codec => multiline {
                         pattern =>  "^[^0-9]"
                         what =>  "previous"
                 }
                 path => [  "/opt/logs/web-stdout.log" ]
                 sincedb_path =>  "/opt/logs/logstash/sincedb-access"
         }
         #收集nginx日志
         file  {
                 type  =>  "nginx"
                 path => [  "/opt/logs/nginx/*.log" ]
                 sincedb_path =>  "/opt/logs/logstash/sincedb-access"
         }
}
output {
     #指定输出的目标redis
   redis {
     host =>  "xx.xx.xx.xx"
     port =>  "6379"
     data_type =>  "list"
     key =>  "logstash"
   }
}

配置elk日志服务器上的logstash,从redis队列中读取日志,并存储到elasticsearch中:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# vi /opt/conf/logstash/logstash-server.conf
#配置从redis队列中读取收集的日志
input {
   redis {
     host =>  "xx.xx.xx.xx"
     port =>  "6379"
     type  =>  "redis-input"
     data_type =>  "list"
     key =>  "logstash"
     threads => 10
   }
}
#把日志输出到elasticsearch中
output {
         elasticsearch {
                         hosts =>  "localhost:9200"
                         index =>  "logstash-%{type}.%{+YYYY.MM.dd}"
         }
         
         #这里把日志收集到本地文件
         file  {
                 path =>  "/opt/logs/logstash/%{type}.%{+yyyy-MM-dd}"
                 codec => line {  format  =>  "%{message}" }
         }
}

启动logstash进程:

1
2
3
4
后台服务器:
# nohup /opt/apps/logstash/bin/logstash -f /opt/conf/logstash/logstash.conf --path.data=/opt/data/logstash/logstash &
elk日志服务器:
# nohup /opt/apps/logstash/bin/logstash -f /opt/conf/logstash/logstash-server.conf --path.data=/opt/data/logstash/logstash-server &



三:kibana

kibana用于日志的前端展示。

安装、配置kibana:

1
2
3
4
5
6
7
8
# tar -zxvf kibana-6.1.1-linux-x86_64.tar.gz
# mv kibana-6.1.1-linux-x86_64 /opt/apps/kibana
配置elasticsearch链接:
# vi /opt/apps/kibana/config/kibana.yml
server.port: 5601
server.host:  "0.0.0.0"
#配置elasticsearch链接:
elasticsearch.url:  "http://localhost:9200"

启动kibana:

1
nohup  /opt/apps/kibana/bin/kibana  &

访问kibana:

http://localhost:5601

捕获.PNG

可以根据我们在logstash中配置的type,创建索引:

2.PNG

可以根据我们创建的索引,进行查看(这里查看nginx日志):

3.PNG



后记:

    当然了,结合logstash和kibana不单单仅能实现收集日志的功能,通过对字段的匹配、筛选以及结合kibana的图标功能,能对我们想要的字段进行分析,实现相应的数据报表等。

    ELK的功能十分强大,以后有机会,继续和大家探讨!!   










本文转自 icenycmh 51CTO博客,原文链接:http://blog.51cto.com/icenycmh/2056540,如需转载请自行联系原作者
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
5天前
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
|
5天前
|
存储 监控 数据可视化
日志分析对决:揭示 ELK 与 GrayLog 的优势和差异
日志分析对决:揭示 ELK 与 GrayLog 的优势和差异
303 0
|
5天前
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
237 1
|
5天前
|
消息中间件 存储 运维
更优性能与性价比,从自建 ELK 迁移到 SLS 开始
本文介绍了 SLS 基本能力,并和开源自建 ELK 做了对比,可以看到 SLS 相比开源 ELK 有较大优势。
55424 145
|
5天前
|
存储 Prometheus 索引
日志系统新贵Loki,确实比笨重的ELK轻
日志系统新贵Loki,确实比笨重的ELK轻
33 0
|
5天前
|
存储 监控 关系型数据库
ELK架构监控MySQL慢日志
ELK架构监控MySQL慢日志
|
5天前
|
机器学习/深度学习 人工智能 DataWorks
人工智能平台PAI问题之日志报错误如何解决
人工智能平台PAI是指阿里云提供的机器学习平台服务,支持建模、训练和部署机器学习模型;本合集将介绍机器学习PAI的功能和操作流程,以及在使用过程中遇到的问题和解决方案。
58 0
人工智能平台PAI问题之日志报错误如何解决
|
5天前
|
监控 Java API
JDK 9新特性深度探索:平台日志API和服务
本文将深入探讨JDK 9中引入的平台日志API和服务。这一新特性为Java应用程序提供了更强大、灵活的日志记录功能,帮助开发者更好地监控和诊断应用程序的运行状况。本文将详细介绍平台日志API和服务的特性和优势,以及如何在项目中应用这一新特性来提升应用程序的稳定性和可维护性。
|
5天前
|
Linux Shell
开源日志平台GrayLog5.1.10 CentOS7一键安装脚本
开源日志平台GrayLog5.1.10 CentOS7一键安装脚本
118 0
|
5天前
|
Linux
开源日志平台GrayLog5.1.7 CentOS7一键安装脚本
开源日志平台GrayLog5.1.7 CentOS7一键安装脚本
100 1

热门文章

最新文章