Linux系统ELK环境搭建手册

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: Linux系统ELK环境搭建手册

引言


我们都知道当我们系统上线以后,一旦出现什么什么问题,系统日志是我们重要的参考依据,当我们系统数据量非常大的时候,通过我们的日志还可以分析出非常多的有价值的信息,可以为公司的发展方向起到指导性作用,但是随着系统的日益庞大,互联网技术的不断发展,现在的日志都分布在很多台服务器上面,这对于日志的收集和分析是个非常大的挑战,显然如果通过传统的方式会死人的,而ELK架构专为收集、分析和存储日志所设计。


Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。


Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。


Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。


下面给大家介绍一下ELK环境的安装:


1、jdk安装


首先检查是否已经安装jdk,如果已经安装有jdk并且版本和上面版本不一样的话,需要先卸载jdk,然后安装提供版本的jdk。


1、卸载命令:yum  groupremove  java。


2、将jdk压缩包(jdk-8u45-linux-x64.tar.gz)复制到/opt 目录下


3、在opt路径下面执行命令:Tar zxf jdk-8u45-linux-x64.tar.gz


4、进入/etc目录,修改profile文件 在最后添加下面代码


#JDK1.8
    export JAVA_HOME=/opt/jdk1.8.0_45
    export JAVA_BIN=/opt/jdk1.8.0_45/bin
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME JAVA_BIN PATH CLASSPATH


5、重启系统:reboot


2、elasticsearch安装


1、将elasticsearch-1.7.2.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf elasticsearch-1.7.2.tar.gz


3、启动elasticsearch服务


进入安装的bin目录下:cd  opt/elasticsearch-1.7.2/bin


执行命令:./elasticsearch -d (-d确保服务可以在后台运行)


在浏览器中输入:ip+9200端口 出现下面json数据,证明安装成功


20160922213549844.png

1、Head插件安装


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install mobz/elasticsearch-head


在浏览器中输入:192.168.92.12:9200/_plugin/head 后出现下图效果,说明安装成功

20160922214520531.png


2、bigdesk插件


保证你的Linux系统可以上网,然后执行下面命令完成安装


./plugin -install lukas-vlcek/bigdesk/2.5.0


在浏览器中输入:192.168.92.12:9200/_plugin/bigdesk后出现下图效果,说明安装成功


20160922214859035.png


3、Logstash安装


1、将logstash-1.5.5.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar zxf logstash-1.5.5.tar.gz


4、kibana安装


1、将kibana-4.1.0-linux-x64.tar.gz 复制到/opt下面


2、解压该安装包


在opt路径下面执行命令:tar  zxf  kibana-4.1.0-linux-x64.tar.gz


3、启动kibana服务


进入安装的bin目录:cd /opt/kibana-4.1.0-linux-x64/bin


然后执行 ./kibana 出现下面效果,证明服务启动成功


20160922214944520.png

在浏览器中输入:ip+5601端口 出现下面效果证明安装成功

20160922215023271.png


小结


上面是在Linux服务器上面的一个基本的环境搭建,但是在企业中一般不会采用这个简单的架构,因为这个架构是存在一些问题的在性能方面,所以我们为了解决这些问题会对这个架构和别的技术进行结合,从而达到大数据量的日志收集系统。在后面的博客中小编会陆续详细的介绍里面用到的技术。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
3天前
|
Linux
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
18 3
|
3天前
|
监控 安全 Linux
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
16 2
|
3天前
|
安全 网络协议 Linux
本文详细介绍了 Linux 系统中 ping 命令的使用方法和技巧,涵盖基本用法、高级用法、实际应用案例及注意事项。
本文详细介绍了 Linux 系统中 ping 命令的使用方法和技巧,涵盖基本用法、高级用法、实际应用案例及注意事项。通过掌握 ping 命令,读者可以轻松测试网络连通性、诊断网络问题并提升网络管理能力。
18 3
|
6天前
|
安全 Linux 数据安全/隐私保护
在 Linux 系统中,查找文件所有者是系统管理和安全审计的重要技能。
在 Linux 系统中,查找文件所有者是系统管理和安全审计的重要技能。本文介绍了使用 `ls -l` 和 `stat` 命令查找文件所有者的基本方法,以及通过文件路径、通配符和结合其他命令的高级技巧。还提供了实际案例分析和注意事项,帮助读者更好地掌握这一操作。
23 6
|
6天前
|
Linux
在 Linux 系统中,`find` 命令是一个强大的文件查找工具
在 Linux 系统中,`find` 命令是一个强大的文件查找工具。本文详细介绍了 `find` 命令的基本语法、常用选项和具体应用示例,帮助用户快速掌握如何根据文件名、类型、大小、修改时间等条件查找文件,并展示了如何结合逻辑运算符、正则表达式和排除特定目录等高级用法。
30 6
|
7天前
|
机器学习/深度学习 自然语言处理 Linux
Linux 中的机器学习:Whisper——自动语音识别系统
本文介绍了先进的自动语音识别系统 Whisper 在 Linux 环境中的应用。Whisper 基于深度学习和神经网络技术,支持多语言识别,具有高准确性和实时处理能力。文章详细讲解了在 Linux 中安装、配置和使用 Whisper 的步骤,以及其在语音助手、语音识别软件等领域的应用场景。
32 5
|
7天前
|
监控 网络协议 算法
Linux内核优化:提升系统性能与稳定性的策略####
本文深入探讨了Linux操作系统内核的优化策略,旨在通过一系列技术手段和最佳实践,显著提升系统的性能、响应速度及稳定性。文章首先概述了Linux内核的核心组件及其在系统中的作用,随后详细阐述了内存管理、进程调度、文件系统优化、网络栈调整及并发控制等关键领域的优化方法。通过实际案例分析,展示了这些优化措施如何有效减少延迟、提高吞吐量,并增强系统的整体健壮性。最终,文章强调了持续监控、定期更新及合理配置对于维持Linux系统长期高效运行的重要性。 ####
|
11天前
|
缓存 监控 Linux
|
14天前
|
Linux Shell 数据安全/隐私保护