ELK环境部署(已踩坑)

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 已踩的坑: 由于版本的不一致,安装marvel时会导致kibana界面报红, 还有启动kibana失败,提示端口在使用,(og [17:26:44.

已踩的坑:
由于版本的不一致,安装marvel时会导致kibana界面报红,
还有启动kibana失败,提示端口在使用,(og [17:26:44.467] [fatal] Error: listen EADDRINUSE IP:5601)
然后
ps -ef|grep kibana

ps -ef|grep 5601
netstat -antp|grep 5601,
找到或者找到杀不掉,最后

尝试 使用 fuser -n tcp 5601

kill -9 端口
成功!!!

Logstash , Elasticsearch Kibana ,的下载地址统一为https://www.elastic.co/downloads/

本次使用的软件版本分别为:
1. elasticsearch2.4.4.tar.gz
2. kibana-4.6.4-linux-x86_64.tar.gz
3. logstash-2.0.0.tar.gz
4. ik1.10.4
一:Logstash安装

第一步.解压到指定目录,
使用tar xvzf *.tar.gz -C “path”
第二步:进入到解压后的根目录,使用bin/plugin install “插件名” 安装对应插件,
常用插件如下:

logstash-filter-date
logstash-filter-grok
logstash-input-file
logstash-input-stdin
logstash-output-elasticsearch
logstash-output-redis
logstash-output-stdout
安装失败可以多重试,(看人品..)

第三步:配置 *.conf 文件启动时使用,注意配置中的input的文件必须拥有足够的权限,不然就等着失败…

二:Elasticsearch的安装

第一步:同样解压,
第二步:进入解压后的根目录下的config文件中,修改配置elasticsearch.xml文件
主要修改一下几点:
cluster.name:必须保持集群内的各个节点此名称的一致性。
node.name: 每个节点起一个(类似 node-1,node-2…..)
network.host:(填写本机的ip即可,这样就可以在windows也可以访问)
discovery.zen.ping.unicast.hosts:(将里面的hosts换成对应的集群中所有节点的ip)
第三步:在$ES_HOME/下执行
bin/plugin install mobz/elasticsearch-head
(有了它,就可以访问对应的web界面)
网址类似:http://”Ip“:9200/_plugin/head/

第三步:安装Marvel
分别在elasticsearch和kibana下安装
Step 1: Install Marvel into Elasticsearch:

bin/plugin install license
bin/plugin install marvel-agent
Step 2: Install Marvel into Kibana
bin/kibana plugin –install elasticsearch/marvel/latest

Step 3: Start Elasticsearch and Kibana
bin/elasticsearch
bin/kibana

第四步:Kibana的安装
1.同样解压后,进入config目录,配置 kibana.yml文件
,其中只需要修改elastic.url属性即可。
改成本机的ip。
访问网址:http://”IP“:5601/

第五步:Ik分词器的安装:
https://github.com/medcl/elasticsearch-analysis-ik下载
我们的版本是 1.10.4。

  1. 下载后的压缩包解压后进去是pom工程
    分别执行如下命令:
    mvn clean
    mvn compile
    mvn package
    2.当然这里是用maven对此工程进行编译,前提要安装maven
    Maven安装也很简单,下载包以后解压缩,配置环境变量即可

3.前面编译了插件以后会在target/releases目录下出现一个zip包

4.然后在es的根目录下的plugins里面建一个ik目录,将上面的zip文件拷进去,并解压
5.重启es完成。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
Go 数据处理 Docker
elk stack部署自动化日志收集分析平台
elk stack部署自动化日志收集分析平台
311 0
|
Web App开发 监控 NoSQL
ELK日志分析系统部署文档 1
ELK日志分析系统部署文档
222 0
|
存储 NoSQL Redis
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
956 0
|
2月前
|
Ubuntu 应用服务中间件 网络安全
ELK完整部署教程
本文介绍了在Ubuntu 22.04上部署ELK(Elasticsearch、Logstash、Kibana)及Filebeat的完整步骤。内容涵盖Elasticsearch安装与安全配置、Kibana启用SSL与注册、Logstash配置输入输出,以及Filebeat采集日志并发送至Logstash或Elasticsearch的方法。适用于本地非容器环境的日志收集与可视化搭建。
|
存储 应用服务中间件 nginx
部署ELK+filebeat收集nginx日志
部署ELK+filebeat收集nginx日志
431 0
部署ELK+filebeat收集nginx日志
|
存储 监控 Ubuntu
一键搞定:用脚本轻松部署ELK,让日志分析变得简单又高效
【8月更文挑战第13天】ELK栈由Elasticsearch、Logstash和Kibana组成,用于日志存储、解析及展示,是大数据领域广泛采用的日志解决方案。鉴于其安装配置复杂,本文提供了一个适用于Ubuntu 16.04的ELK自动安装Shell脚本示例。脚本首先确保Java环境安装,接着添加Elastic.co的APT仓库并安装ELK组件,最后启动所有服务。通过自动化流程,简化部署工作,减少人为错误,提升效率。实际应用中还需根据具体需求调整配置和服务设置。
398 0
|
自然语言处理 Java 开发工具
实战:ELK环境部署并采集springboot项目日志
实战:ELK环境部署并采集springboot项目日志
|
消息中间件 运维 Kafka
运维(29)- ELK部署
运维(29)- ELK部署
169 0
|
监控 NoSQL Redis
ELK日志分析系统部署文档2
ELK日志分析系统部署文档
177 0
|
消息中间件 存储 SQL
【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服务
大概一年多前写过一个部署ELK系列的博客文章,前不久刚好在部署一个ELK的解决方案,我顺便就把一些基础的部分拎出来,再整合成一期文章。大概内容包括:搭建ELK集群,以及写一个简单的MQ服务。
757 0
【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服务