Linux系统ELK环境搭建手册

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: Linux系统ELK环境搭建手册

引言


我们都知道当我们系统上线以后,一旦出现什么什么问题,系统日志是我们重要的参考依据,当我们系统数据量非常大的时候,通过我们的日志还可以分析出非常多的有价值的信息,可以为公司的发展方向起到指导性作用,但是随着系统的日益庞大,互联网技术的不断发展,现在的日志都分布在很多台服务器上面,这对于日志的收集和分析是个非常大的挑战,显然如果通过传统的方式会死人的,而ELK架构专为收集、分析和存储日志所设计。


Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。


Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。


Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。


下面给大家介绍一下ELK环境的安装:


1、jdk安装


首先检查是否已经安装jdk,如果已经安装有jdk并且版本和上面版本不一样的话,需要先卸载jdk,然后安装提供版本的jdk。


1、卸载命令:yum  groupremove  java。


2、将jdk压缩包(jdk-8u45-linux-x64.tar.gz)复制到/opt 目录下


3、在opt路径下面执行命令:Tar zxf jdk-8u45-linux-x64.tar.gz


4、进入/etc目录,修改profile文件 在最后添加下面代码


#JDK1.8
    export JAVA_HOME=/opt/jdk1.8.0_45
    export JAVA_BIN=/opt/jdk1.8.0_45/bin
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME JAVA_BIN PATH CLASSPATH


5、重启系统:reboot


2、elasticsearch安装


1、将elasticsearch-1.7.2.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf elasticsearch-1.7.2.tar.gz


3、启动elasticsearch服务


进入安装的bin目录下:cd  opt/elasticsearch-1.7.2/bin


执行命令:./elasticsearch -d (-d确保服务可以在后台运行)


在浏览器中输入:ip+9200端口 出现下面json数据,证明安装成功


20160922213549844.png

1、Head插件安装


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install mobz/elasticsearch-head


在浏览器中输入:192.168.92.12:9200/_plugin/head 后出现下图效果,说明安装成功

20160922214520531.png


2、bigdesk插件


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install lukas-vlcek/bigdesk/2.5.0


在浏览器中输入:192.168.92.12:9200/_plugin/bigdesk后出现下图效果,说明安装成功


20160922214859035.png


3、Logstash安装


1、将logstash-1.5.5.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf logstash-1.5.5.tar.gz


4、kibana安装


1、将kibana-4.1.0-linux-x64.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar  zxf  kibana-4.1.0-linux-x64.tar.gz


3、启动kibana服务


进入安装的bin目录:cd /opt/kibana-4.1.0-linux-x64/bin


然后执行 ./kibana 出现下面效果,证明服务启动成功


20160922214944520.png

在浏览器中输入:ip+5601端口 出现下面效果证明安装成功

20160922215023271.png


小结


上面是在Linux服务器上面的一个基本的环境搭建,但是在企业中一般不会采用这个简单的架构,因为这个架构是存在一些问题的在性能方面,所以我们为了解决这些问题会对这个架构和别的技术进行结合,从而达到大数据量的日志收集系统。在后面的博客中小编会陆续详细的介绍里面用到的技术。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
5天前
|
Linux Shell
Linux系统
是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心,与之前的DOS命令类似。linux命令在系统中有两种类型:内置Shell命令和Linux命令。
|
4天前
|
Ubuntu Linux 网络安全
从头安装Arch Linux系统
本文记录了作者安装Arch Linux系统的过程,包括安装成果展示和遇到的疑难点及其解决方法,如硬盘不足、下载失败、设置时区、安装微码和配置无密码登录等。
从头安装Arch Linux系统
|
1天前
|
Linux Shell
Linux系统
是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心,与之前的DOS命令类似。linux命令在系统中有两种类型:内置Shell命令和Linux命令。
|
1天前
|
Ubuntu Linux Shell
Linux系统密码忘记
【10月更文挑战第2天】在Linux系统中,若忘记密码,可以通过单用户模式或使用Live CD/USB来重置。对于Ubuntu系统,可通过GRUB引导菜单进入单用户模式,利用命令行重置密码;或使用Live CD/USB启动并挂载硬盘分区后修改密码文件。CentOS系统同样支持单用户模式重置密码,也可借助安装介质进入救援模式,挂载文件系统后进行密码重置。这些方法均能在忘记密码的情况下帮助恢复系统访问。
|
2天前
|
Linux Shell
Linux系统
是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心,与之前的DOS命令类似。linux命令在系统中有两种类型:内置Shell命令和Linux命令。
|
3天前
|
Linux Shell
Linux系统
是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心,与之前的DOS命令类似。linux命令在系统中有两种类型:内置Shell命令和Linux命令。
|
7天前
|
Linux Shell
Linux系统
是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心,与之前的DOS命令类似。linux命令在系统中有两种类型:内置Shell命令和Linux命令。
|
4天前
|
Linux Shell
Linux系统
是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心,与之前的DOS命令类似。linux命令在系统中有两种类型:内置Shell命令和Linux命令。
|
7天前
|
Linux Shell
Linux系统
是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心,与之前的DOS命令类似。linux命令在系统中有两种类型:内置Shell命令和Linux命令。
|
8天前
|
Shell Linux Python
python执行linux系统命令的几种方法(python3经典编程案例)
文章介绍了多种使用Python执行Linux系统命令的方法,包括使用os模块的不同函数以及subprocess模块来调用shell命令并处理其输出。
12 0
下一篇
无影云桌面