日志分析ELK平台搭建

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
日志服务 SLS,月写入数据量 50GB 1个月
简介:

  当服务器数量以及应用达到一定的数量后,操作系统日志以及应用软件日志数量庞大,遇到问题时日志是第一手资料。平时用的sed、grep、awk已经难以满足我们的需求。随着互联网技术的发展,好多大型互联网公司研发了不同的日志分析产品,例如开源的Graylog、ELK还有Splunk等,同时Splunk也是一个商业产品,功能很强大,但是在目前的互联网领域里ELK的使用应该是更广泛。接下来会根据官网资料搭建ELK平台。

环境介绍:

  • 操作系统  CentOS 7.4

  • Java版本:openjdk 1.8.0_151

  • 安装方式:yum安装

一、安装Elasticsearch

配置yum源

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
1、下载并安装公共签名密钥
rpm -- import   https: //artifacts .elastic.co /GPG-KEY-elasticsearch 
2、配置Elasticsearch安装包yum源
编辑  /etc/yum .repos.d /elasticsearch .repo
 
[elasticsearch-5.x]
name=Elasticsearch repository  for  5.x packages
baseurl=https: //artifacts .elastic.co /packages/5 .x /yum
gpgcheck=1
gpgkey=https: //artifacts .elastic.co /GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type =rpm-md 
3、安装命令
yum    install   -y elasticsearch  
 
4、等待安装完成后将服务启动,并做好服务自启动、防火墙等设置
[root@localhost ~] # systemctl   enable  elasticsearch
Created  symlink  from  /etc/systemd/system/multi-user .target.wants /elasticsearch .service to  /usr/lib/systemd/system/elasticsearch .service.
[root@localhost ~] # systemctl   restart  elasticsearch
5、检查监听端口以及相关服务
[root@localhost ~] # netstat   -nltup  |grep  9200
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      13315 /java          
tcp6       0      0 ::1:9200                :::*                    LISTEN      13315 /java        
 
使用curl访问9200端口
[root@localhost ~] # curl   http://127.0.0.1:9200
{
   "name"  "wEPnzRm" ,
   "cluster_name"  "elasticsearch" ,
   "cluster_uuid"  "dKeJNq1xSiizdAomMleZbg" ,
   "version"  : {
     "number"  "5.6.3" ,
     "build_hash"  "1a2f265" ,
     "build_date"  "2017-10-06T20:33:39.012Z" ,
     "build_snapshot"  false ,
     "lucene_version"  "6.6.1"
   },
   "tagline"  "You Know, for Search"
   
   经检查elasticsearch 服务运行正常

二、安装Kibana

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
1、配置Kibana的yum源
  编辑 /etc/yum .repos.d /kibana-5 .x
[kibana-5.x]
name=Kibana repository  for  5.x packages
baseurl=https: //artifacts .elastic.co /packages/5 .x /yum
gpgcheck=1
gpgkey=https: //artifacts .elastic.co /GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type =rpm-md
2、安装kibana
yum   install   -y  kibana  
3、启动服务
service  restart  kibana  
服务开机自启动
chkconfig --add kibana
4、检查监听端口和服务运行
[root@localhost ~] # netstat  -nltup
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID /Program  name    
tcp        0      0 10.1.4.182:5601         0.0.0.0:*               LISTEN 
服务默认的端口为5601 默认配置文件的监听主机为localhost   只能本机访问,为了方便,将其改为内网地址
10.1.4.182
5、curl访问
  http: //10 .1.4.182:5601
<script>var hashRoute =  '/app/kibana' ;
var defaultRoute =  '/app/kibana' ;
 
var  hash  = window.location. hash ;
if  ( hash .length) {
   window.location = hashRoute +  hash ;
else  {
   window.location = defaultRoute;
}< /script >

6、浏览器访问后截图

146f1945e757d729feadd8a871f692ac.png-wh_

三、安装


1
2
3
4
5
6
7
8
9
10
11
12
13
14
1、配置yum源
编辑  /etc/yum .repos.d /logstash
[logstash-5.x]
name=Elastic repository  for  5.x packages
baseurl=https: //artifacts .elastic.co /packages/5 .x /yum
gpgcheck=1
gpgkey=https: //artifacts .elastic.co /GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type =rpm-md
2、安装
yum   install   -y  logstash
 
安装完毕



本文转自 tianya1993 51CTO博客,原文链接:http://blog.51cto.com/dreamlinux/1978720,如需转载请自行联系原作者
相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
2月前
|
消息中间件 Java Kafka
搭建ELK日志收集,保姆级教程
本文介绍了分布式日志采集的背景及ELK与Kafka的整合应用。传统多服务器环境下,日志查询效率低下,因此需要集中化日志管理。ELK(Elasticsearch、Logstash、Kibana)应运而生,但单独使用ELK在性能上存在瓶颈,故结合Kafka实现高效的日志采集与处理。文章还详细讲解了基于Docker Compose构建ELK+Kafka环境的方法、验证步骤,以及如何在Spring Boot项目中整合ELK+Kafka,并通过Logback配置实现日志的采集与展示。
620 64
搭建ELK日志收集,保姆级教程
|
8月前
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
597 90
|
存储 运维 监控
超越传统模型:从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及,系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎,以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
794 6
|
8月前
|
监控 Shell Linux
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
10月前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
496 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
存储 监控 安全
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
运维 监控 Ubuntu
一键启动日志魔法:揭秘ELK自动安装脚本的神秘面纱!
【8月更文挑战第9天】在数据驱动时代,高效处理日志至关重要。ELK Stack(Elasticsearch、Logstash、Kibana)是强大的日志分析工具,但其复杂的安装配置常让初学者望而却步。本文介绍如何编写ELK自动安装脚本,简化部署流程。脚本适用于Ubuntu系统,自动完成ELK下载、安装及基本配置,包括依赖项安装、服务启动及自启设置,极大降低了使用门槛,助力运维人员和开发者轻松构建日志分析平台。
396 6