Linux系统ELK环境搭建手册

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: Linux系统ELK环境搭建手册

引言


我们都知道当我们系统上线以后,一旦出现什么什么问题,系统日志是我们重要的参考依据,当我们系统数据量非常大的时候,通过我们的日志还可以分析出非常多的有价值的信息,可以为公司的发展方向起到指导性作用,但是随着系统的日益庞大,互联网技术的不断发展,现在的日志都分布在很多台服务器上面,这对于日志的收集和分析是个非常大的挑战,显然如果通过传统的方式会死人的,而ELK架构专为收集、分析和存储日志所设计。


Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。


Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。


Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。


下面给大家介绍一下ELK环境的安装:


1、jdk安装


首先检查是否已经安装jdk,如果已经安装有jdk并且版本和上面版本不一样的话,需要先卸载jdk,然后安装提供版本的jdk。


1、卸载命令:yum  groupremove  java。


2、将jdk压缩包(jdk-8u45-linux-x64.tar.gz)复制到/opt 目录下


3、在opt路径下面执行命令:Tar zxf jdk-8u45-linux-x64.tar.gz


4、进入/etc目录,修改profile文件 在最后添加下面代码


#JDK1.8
    export JAVA_HOME=/opt/jdk1.8.0_45
    export JAVA_BIN=/opt/jdk1.8.0_45/bin
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME JAVA_BIN PATH CLASSPATH


5、重启系统:reboot


2、elasticsearch安装


1、将elasticsearch-1.7.2.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf elasticsearch-1.7.2.tar.gz


3、启动elasticsearch服务


进入安装的bin目录下:cd  opt/elasticsearch-1.7.2/bin


执行命令:./elasticsearch -d (-d确保服务可以在后台运行)


在浏览器中输入:ip+9200端口 出现下面json数据,证明安装成功


20160922213549844.png

1、Head插件安装


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install mobz/elasticsearch-head


在浏览器中输入:192.168.92.12:9200/_plugin/head 后出现下图效果,说明安装成功

20160922214520531.png


2、bigdesk插件


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install lukas-vlcek/bigdesk/2.5.0


在浏览器中输入:192.168.92.12:9200/_plugin/bigdesk后出现下图效果,说明安装成功


20160922214859035.png


3、Logstash安装


1、将logstash-1.5.5.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf logstash-1.5.5.tar.gz


4、kibana安装


1、将kibana-4.1.0-linux-x64.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar  zxf  kibana-4.1.0-linux-x64.tar.gz


3、启动kibana服务


进入安装的bin目录:cd /opt/kibana-4.1.0-linux-x64/bin


然后执行 ./kibana 出现下面效果,证明服务启动成功


20160922214944520.png

在浏览器中输入:ip+5601端口 出现下面效果证明安装成功

20160922215023271.png


小结


上面是在Linux服务器上面的一个基本的环境搭建,但是在企业中一般不会采用这个简单的架构,因为这个架构是存在一些问题的在性能方面,所以我们为了解决这些问题会对这个架构和别的技术进行结合,从而达到大数据量的日志收集系统。在后面的博客中小编会陆续详细的介绍里面用到的技术。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
19天前
|
存储 缓存 监控
Linux缓存管理:如何安全地清理系统缓存
在Linux系统中,内存管理至关重要。本文详细介绍了如何安全地清理系统缓存,特别是通过使用`/proc/sys/vm/drop_caches`接口。内容包括清理缓存的原因、步骤、注意事项和最佳实践,帮助你在必要时优化系统性能。
151 78
|
23天前
|
Linux Shell 网络安全
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
本指南介绍如何利用 HTA 文件和 Metasploit 框架进行渗透测试。通过创建反向 shell、生成 HTA 文件、设置 HTTP 服务器和发送文件,最终实现对目标系统的控制。适用于教育目的,需合法授权。
55 9
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
|
19天前
|
存储 监控 Linux
嵌入式Linux系统编程 — 5.3 times、clock函数获取进程时间
在嵌入式Linux系统编程中,`times`和 `clock`函数是获取进程时间的两个重要工具。`times`函数提供了更详细的进程和子进程时间信息,而 `clock`函数则提供了更简单的处理器时间获取方法。根据具体需求选择合适的函数,可以更有效地进行性能分析和资源管理。通过本文的介绍,希望能帮助您更好地理解和使用这两个函数,提高嵌入式系统编程的效率和效果。
84 13
|
2月前
|
Ubuntu Linux 网络安全
linux系统ubuntu中在命令行中打开图形界面的文件夹
在Ubuntu系统中,通过命令行打开图形界面的文件夹是一个高效且实用的操作。无论是使用Nautilus、Dolphin还是Thunar,都可以根据具体桌面环境选择合适的文件管理器。通过上述命令和方法,可以简化日常工作,提高效率。同时,解决权限问题和图形界面问题也能确保操作的顺利进行。掌握这些技巧,可以使Linux操作更加便捷和灵活。
51 3
|
19天前
|
Ubuntu Linux C++
Win10系统上直接使用linux子系统教程(仅需五步!超简单,快速上手)
本文介绍了如何在Windows 10上安装并使用Linux子系统。首先,通过应用商店安装Windows Terminal和Linux系统(如Ubuntu)。接着,在控制面板中启用“适用于Linux的Windows子系统”并重启电脑。最后,在Windows Terminal中选择安装的Linux系统即可开始使用。文中还提供了注意事项和进一步配置的链接。
40 0
|
2月前
|
Linux
在 Linux 系统中,`find` 命令
在 Linux 系统中,`find` 命令
40 1
|
30天前
|
存储 Oracle 安全
服务器数据恢复—LINUX系统删除/格式化的数据恢复流程
Linux操作系统是世界上流行的操作系统之一,被广泛用于服务器、个人电脑、移动设备和嵌入式系统。Linux系统下数据被误删除或者误格式化的问题非常普遍。下面北亚企安数据恢复工程师简单聊一下基于linux的文件系统(EXT2/EXT3/EXT4/Reiserfs/Xfs) 下删除或者格式化的数据恢复流程和可行性。
|
4月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
2月前
|
存储 监控 安全
|
5月前
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志