ELK环境部署(已踩坑)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 已踩的坑: 由于版本的不一致,安装marvel时会导致kibana界面报红, 还有启动kibana失败,提示端口在使用,(og [17:26:44.

已踩的坑:
由于版本的不一致,安装marvel时会导致kibana界面报红,
还有启动kibana失败,提示端口在使用,(og [17:26:44.467] [fatal] Error: listen EADDRINUSE IP:5601)
然后
ps -ef|grep kibana

ps -ef|grep 5601
netstat -antp|grep 5601,
找到或者找到杀不掉,最后

尝试 使用 fuser -n tcp 5601

kill -9 端口
成功!!!

Logstash , Elasticsearch Kibana ,的下载地址统一为https://www.elastic.co/downloads/

本次使用的软件版本分别为:
1. elasticsearch2.4.4.tar.gz
2. kibana-4.6.4-linux-x86_64.tar.gz
3. logstash-2.0.0.tar.gz
4. ik1.10.4
一:Logstash安装

第一步.解压到指定目录,
使用tar xvzf *.tar.gz -C “path”
第二步:进入到解压后的根目录,使用bin/plugin install “插件名” 安装对应插件,
常用插件如下:

logstash-filter-date
logstash-filter-grok
logstash-input-file
logstash-input-stdin
logstash-output-elasticsearch
logstash-output-redis
logstash-output-stdout
安装失败可以多重试,(看人品..)

第三步:配置 *.conf 文件启动时使用,注意配置中的input的文件必须拥有足够的权限,不然就等着失败…

二:Elasticsearch的安装

第一步:同样解压,
第二步:进入解压后的根目录下的config文件中,修改配置elasticsearch.xml文件
主要修改一下几点:
cluster.name:必须保持集群内的各个节点此名称的一致性。
node.name: 每个节点起一个(类似 node-1,node-2…..)
network.host:(填写本机的ip即可,这样就可以在windows也可以访问)
discovery.zen.ping.unicast.hosts:(将里面的hosts换成对应的集群中所有节点的ip)
第三步:在$ES_HOME/下执行
bin/plugin install mobz/elasticsearch-head
(有了它,就可以访问对应的web界面)
网址类似:http://”Ip“:9200/_plugin/head/

第三步:安装Marvel
分别在elasticsearch和kibana下安装
Step 1: Install Marvel into Elasticsearch:

bin/plugin install license
bin/plugin install marvel-agent
Step 2: Install Marvel into Kibana
bin/kibana plugin –install elasticsearch/marvel/latest

Step 3: Start Elasticsearch and Kibana
bin/elasticsearch
bin/kibana

第四步:Kibana的安装
1.同样解压后,进入config目录,配置 kibana.yml文件
,其中只需要修改elastic.url属性即可。
改成本机的ip。
访问网址:http://”IP“:5601/

第五步:Ik分词器的安装:
https://github.com/medcl/elasticsearch-analysis-ik下载
我们的版本是 1.10.4。

  1. 下载后的压缩包解压后进去是pom工程
    分别执行如下命令:
    mvn clean
    mvn compile
    mvn package
    2.当然这里是用maven对此工程进行编译,前提要安装maven
    Maven安装也很简单,下载包以后解压缩,配置环境变量即可

3.前面编译了插件以后会在target/releases目录下出现一个zip包

4.然后在es的根目录下的plugins里面建一个ik目录,将上面的zip文件拷进去,并解压
5.重启es完成。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
6月前
|
Go 数据处理 Docker
elk stack部署自动化日志收集分析平台
elk stack部署自动化日志收集分析平台
167 0
|
Web App开发 监控 NoSQL
ELK日志分析系统部署文档 1
ELK日志分析系统部署文档
150 0
|
存储 NoSQL Redis
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
528 0
|
3月前
|
存储 应用服务中间件 nginx
部署ELK+filebeat收集nginx日志
部署ELK+filebeat收集nginx日志
118 0
部署ELK+filebeat收集nginx日志
|
3月前
|
存储 监控 Ubuntu
一键搞定:用脚本轻松部署ELK,让日志分析变得简单又高效
【8月更文挑战第13天】ELK栈由Elasticsearch、Logstash和Kibana组成,用于日志存储、解析及展示,是大数据领域广泛采用的日志解决方案。鉴于其安装配置复杂,本文提供了一个适用于Ubuntu 16.04的ELK自动安装Shell脚本示例。脚本首先确保Java环境安装,接着添加Elastic.co的APT仓库并安装ELK组件,最后启动所有服务。通过自动化流程,简化部署工作,减少人为错误,提升效率。实际应用中还需根据具体需求调整配置和服务设置。
54 0
|
12月前
|
消息中间件 运维 Kafka
运维(29)- ELK部署
运维(29)- ELK部署
123 0
|
监控 NoSQL Redis
ELK日志分析系统部署文档2
ELK日志分析系统部署文档
129 0
|
自然语言处理 Java 开发工具
实战:ELK环境部署并采集springboot项目日志
实战:ELK环境部署并采集springboot项目日志
|
消息中间件 存储 SQL
【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服务
大概一年多前写过一个部署ELK系列的博客文章,前不久刚好在部署一个ELK的解决方案,我顺便就把一些基础的部分拎出来,再整合成一期文章。大概内容包括:搭建ELK集群,以及写一个简单的MQ服务。
593 0
【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服务
|
消息中间件 存储 JSON
不得不学!从零到一搭建ELK日志,在Docker环境下部署 logstash 工具
最近在玩 ELK 日志平台,它是 Elastic 公司推出的一整套日志收集、分析和展示的解决方案。