Linux系统ELK环境搭建手册

简介: Linux系统ELK环境搭建手册

引言


我们都知道当我们系统上线以后,一旦出现什么什么问题,系统日志是我们重要的参考依据,当我们系统数据量非常大的时候,通过我们的日志还可以分析出非常多的有价值的信息,可以为公司的发展方向起到指导性作用,但是随着系统的日益庞大,互联网技术的不断发展,现在的日志都分布在很多台服务器上面,这对于日志的收集和分析是个非常大的挑战,显然如果通过传统的方式会死人的,而ELK架构专为收集、分析和存储日志所设计。


Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。


Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。


Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。


下面给大家介绍一下ELK环境的安装:


1、jdk安装


首先检查是否已经安装jdk,如果已经安装有jdk并且版本和上面版本不一样的话,需要先卸载jdk,然后安装提供版本的jdk。


1、卸载命令:yum  groupremove  java。


2、将jdk压缩包(jdk-8u45-linux-x64.tar.gz)复制到/opt 目录下


3、在opt路径下面执行命令:Tar zxf jdk-8u45-linux-x64.tar.gz


4、进入/etc目录,修改profile文件 在最后添加下面代码


#JDK1.8
    export JAVA_HOME=/opt/jdk1.8.0_45
    export JAVA_BIN=/opt/jdk1.8.0_45/bin
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME JAVA_BIN PATH CLASSPATH


5、重启系统:reboot


2、elasticsearch安装


1、将elasticsearch-1.7.2.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf elasticsearch-1.7.2.tar.gz


3、启动elasticsearch服务


进入安装的bin目录下:cd  opt/elasticsearch-1.7.2/bin


执行命令:./elasticsearch -d (-d确保服务可以在后台运行)


在浏览器中输入:ip+9200端口 出现下面json数据,证明安装成功


20160922213549844.png

1、Head插件安装


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install mobz/elasticsearch-head


在浏览器中输入:192.168.92.12:9200/_plugin/head 后出现下图效果,说明安装成功

20160922214520531.png


2、bigdesk插件


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install lukas-vlcek/bigdesk/2.5.0


在浏览器中输入:192.168.92.12:9200/_plugin/bigdesk后出现下图效果,说明安装成功


20160922214859035.png


3、Logstash安装


1、将logstash-1.5.5.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf logstash-1.5.5.tar.gz


4、kibana安装


1、将kibana-4.1.0-linux-x64.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar  zxf  kibana-4.1.0-linux-x64.tar.gz


3、启动kibana服务


进入安装的bin目录:cd /opt/kibana-4.1.0-linux-x64/bin


然后执行 ./kibana 出现下面效果,证明服务启动成功


20160922214944520.png

在浏览器中输入:ip+5601端口 出现下面效果证明安装成功

20160922215023271.png


小结


上面是在Linux服务器上面的一个基本的环境搭建,但是在企业中一般不会采用这个简单的架构,因为这个架构是存在一些问题的在性能方面,所以我们为了解决这些问题会对这个架构和别的技术进行结合,从而达到大数据量的日志收集系统。在后面的博客中小编会陆续详细的介绍里面用到的技术。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
4月前
|
Ubuntu Linux Anolis
Linux系统禁用swap
本文介绍了在新版本Linux系统(如Ubuntu 20.04+、CentOS Stream、openEuler等)中禁用swap的两种方法。传统通过注释/etc/fstab中swap行的方式已失效,现需使用systemd管理swap.target服务或在/etc/fstab中添加noauto参数实现禁用。方法1通过屏蔽swap.target适用于新版系统,方法2通过修改fstab挂载选项更通用,兼容所有系统。
319 3
Linux系统禁用swap
|
4月前
|
Linux
Linux系统修改网卡名为eth0、eth1
在Linux系统中,可通过修改GRUB配置和创建Udev规则或使用systemd链接文件,将网卡名改为`eth0`、`eth1`等传统命名方式,适用于多种发行版并支持多网卡配置。
545 3
|
Ubuntu Linux 网络安全
Linux系统初始化脚本
一款支持Rocky、CentOS、Ubuntu、Debian、openEuler等主流Linux发行版的系统初始化Shell脚本,涵盖网络配置、主机名设置、镜像源更换、安全加固等多项功能,适配单/双网卡环境,支持UEFI引导,提供多版本下载与持续更新。
429 0
Linux系统初始化脚本
|
5月前
|
运维 Linux 开发者
Linux系统中使用Python的ping3库进行网络连通性测试
以上步骤展示了如何利用 Python 的 `ping3` 库来检测网络连通性,并且提供了基本错误处理方法以确保程序能够优雅地处理各种意外情形。通过简洁明快、易读易懂、实操性强等特点使得该方法非常适合开发者或系统管理员快速集成至自动化工具链之内进行日常运维任务之需求满足。
308 18
|
4月前
|
安全 Linux Shell
Linux系统提权方式全面总结:从基础到高级攻防技术
本文全面总结Linux系统提权技术,涵盖权限体系、配置错误、漏洞利用、密码攻击等方法,帮助安全研究人员掌握攻防技术,提升系统防护能力。
364 1
|
4月前
|
监控 安全 Linux
Linux系统提权之计划任务(Cron Jobs)提权
在Linux系统中,计划任务(Cron Jobs)常用于定时执行脚本或命令。若配置不当,攻击者可利用其提权至root权限。常见漏洞包括可写的Cron脚本、目录、通配符注入及PATH变量劫持。攻击者通过修改脚本、创建恶意任务或注入命令实现提权。系统管理员应遵循最小权限原则、使用绝对路径、避免通配符、设置安全PATH并定期审计,以防范此类攻击。
1076 1
|
5月前
|
缓存 监控 Linux
Linux系统清理缓存(buff/cache)的有效方法。
总结而言,在大多数情形下你不必担心Linux中buffer与cache占用过多内存在影响到其他程序运行;因为当程序请求更多内存在没有足够可用资源时,Linux会自行调整其占有量。只有当你明确知道当前环境与需求并希望立即回收这部分资源给即将运行重负载任务之前才考虑上述方法去主动干预。
1674 10
|
4月前
|
消息中间件 Java Kafka
搭建ELK日志收集,保姆级教程
本文介绍了分布式日志采集的背景及ELK与Kafka的整合应用。传统多服务器环境下,日志查询效率低下,因此需要集中化日志管理。ELK(Elasticsearch、Logstash、Kibana)应运而生,但单独使用ELK在性能上存在瓶颈,故结合Kafka实现高效的日志采集与处理。文章还详细讲解了基于Docker Compose构建ELK+Kafka环境的方法、验证步骤,以及如何在Spring Boot项目中整合ELK+Kafka,并通过Logback配置实现日志的采集与展示。
917 64
搭建ELK日志收集,保姆级教程
|
10月前
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
718 90
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)