Linux系统ELK环境搭建手册

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
日志服务 SLS,月写入数据量 50GB 1个月
简介: Linux系统ELK环境搭建手册

引言


我们都知道当我们系统上线以后,一旦出现什么什么问题,系统日志是我们重要的参考依据,当我们系统数据量非常大的时候,通过我们的日志还可以分析出非常多的有价值的信息,可以为公司的发展方向起到指导性作用,但是随着系统的日益庞大,互联网技术的不断发展,现在的日志都分布在很多台服务器上面,这对于日志的收集和分析是个非常大的挑战,显然如果通过传统的方式会死人的,而ELK架构专为收集、分析和存储日志所设计。


Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。


Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。


Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。


下面给大家介绍一下ELK环境的安装:


1、jdk安装


首先检查是否已经安装jdk,如果已经安装有jdk并且版本和上面版本不一样的话,需要先卸载jdk,然后安装提供版本的jdk。


1、卸载命令:yum  groupremove  java。


2、将jdk压缩包(jdk-8u45-linux-x64.tar.gz)复制到/opt 目录下


3、在opt路径下面执行命令:Tar zxf jdk-8u45-linux-x64.tar.gz


4、进入/etc目录,修改profile文件 在最后添加下面代码


#JDK1.8
    export JAVA_HOME=/opt/jdk1.8.0_45
    export JAVA_BIN=/opt/jdk1.8.0_45/bin
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME JAVA_BIN PATH CLASSPATH


5、重启系统:reboot


2、elasticsearch安装


1、将elasticsearch-1.7.2.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf elasticsearch-1.7.2.tar.gz


3、启动elasticsearch服务


进入安装的bin目录下:cd  opt/elasticsearch-1.7.2/bin


执行命令:./elasticsearch -d (-d确保服务可以在后台运行)


在浏览器中输入:ip+9200端口 出现下面json数据,证明安装成功


20160922213549844.png

1、Head插件安装


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install mobz/elasticsearch-head


在浏览器中输入:192.168.92.12:9200/_plugin/head 后出现下图效果,说明安装成功

20160922214520531.png


2、bigdesk插件


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install lukas-vlcek/bigdesk/2.5.0


在浏览器中输入:192.168.92.12:9200/_plugin/bigdesk后出现下图效果,说明安装成功


20160922214859035.png


3、Logstash安装


1、将logstash-1.5.5.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf logstash-1.5.5.tar.gz


4、kibana安装


1、将kibana-4.1.0-linux-x64.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar  zxf  kibana-4.1.0-linux-x64.tar.gz


3、启动kibana服务


进入安装的bin目录:cd /opt/kibana-4.1.0-linux-x64/bin


然后执行 ./kibana 出现下面效果,证明服务启动成功


20160922214944520.png

在浏览器中输入:ip+5601端口 出现下面效果证明安装成功

20160922215023271.png


小结


上面是在Linux服务器上面的一个基本的环境搭建,但是在企业中一般不会采用这个简单的架构,因为这个架构是存在一些问题的在性能方面,所以我们为了解决这些问题会对这个架构和别的技术进行结合,从而达到大数据量的日志收集系统。在后面的博客中小编会陆续详细的介绍里面用到的技术。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
目录
相关文章
|
1月前
|
Ubuntu Linux
计算机基础知识:linux系统怎么安装?
在虚拟机软件中创建一个新的虚拟机,并选择相应操作系统类型和硬盘空间大小等参数。将下载的 ISO 镜像文件加载到虚拟机中。启动虚拟机,进入安装界面,并按照步骤进行安装。安装完成后,可以在虚拟机中使用 Linux 系统。
|
26天前
|
缓存 监控 Linux
Linux系统清理缓存(buff/cache)的有效方法。
总结而言,在大多数情形下你不必担心Linux中buffer与cache占用过多内存在影响到其他程序运行;因为当程序请求更多内存在没有足够可用资源时,Linux会自行调整其占有量。只有当你明确知道当前环境与需求并希望立即回收这部分资源给即将运行重负载任务之前才考虑上述方法去主动干预。
377 10
|
30天前
|
安全 Linux 数据安全/隐私保护
为Linux系统的普通账户授予sudo访问权限的过程
完成上述步骤后,你提升的用户就能够使用 `sudo`命令来执行管理员级别的操作,而无需切换到root用户。这是一种更加安全和便捷的权限管理方式,因为它能够留下完整的权限使用记录,并以最小权限的方式工作。需要注意的是,随意授予sudo权限可能会使系统暴露在风险之中,尤其是在用户不了解其所执行命令可能带来的后果的情况下。所以在配置sudo权限时,必须谨慎行事。
216 0
|
1月前
|
Ubuntu Linux 开发者
国产 Linux 发行版再添新成员,CutefishOS 系统简单体验
当然,系统生态构建过程并不简单,不过为了帮助国产操作系统优化生态圈,部分企业也开始用国产操作系统替代 Windows,我们相信肯定会有越来越多的精品软件登录 Linux 平台。
82 0
|
1月前
|
Ubuntu 安全 Linux
Linux系统入门指南:从零开始学习Linux
Shell脚本是一种强大的自动化工具,可以帮助您简化重复的任务或创建复杂的脚本程序。了解Shell脚本的基本语法和常用命令,以及编写和运行Shell脚本的步骤,将使您更高效地处理日常任务。
130 0
|
1月前
|
Ubuntu Linux 图形学
Linux学习之Linux桌面系统有哪些?
Cinnamon:与MATE类似,Cinnamon 拥有 GNOME 和 Unity 等其它桌面环境所没有的种种功能,是高度可定制的桌面环境,不需要任何外部插件、窗口组件和调整工具来定制桌面。
86 0
|
1月前
|
Ubuntu 安全 Linux
十款常用Linux系统介绍
本文不是什么大盘点。市面上有好几百款发行版,每款发行版在某个方面都与众不同。不可能在此全部罗列,本文只罗列了十款最常见的Linux发行版(世界上只有两种人,一种是懂二进制的,另一种是不懂二进制的)。请宣传Linux的魅力或威力。
|
2月前
|
监控 Linux 网络安全
Linux命令大全:从入门到精通
日常使用的linux命令整理
622 13
|
3月前
|
Linux 网络安全 数据安全/隐私保护
使用Linux系统的mount命令挂载远程服务器的文件夹。
如此一来,你就完成了一次从你的Linux发车站到远程服务器文件夹的有趣旅行。在这个技术之旅中,你既探索了新地方,也学到了如何桥接不同系统之间的距离。
442 21