ELK(Elasticsearch/Logstash/Kibana)安装时常见错误总结

简介:

问题一

[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter:
Java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMPandCONFIG_SECCOMP_FILTERcompiledinatorg.elasticsearch.bootstrap.Seccomp.linuxImpl(Seccomp.java:349) ~[elasticsearch-5.0.0.jar:5.0.0]
at org.elasticsearch.bootstrap.Seccomp.init(Seccomp.java:630) ~[elasticsearch-5.0.0.jar:5.0.0]
 
原因:报了一大串错误,大家不必惊慌,其实只是一个警告,主要是因为你Linux版本过低造成的。
 
解决方案
  1、重新安装新版本的Linux系统
  2、警告不影响使用,可以忽略
 
 
 
问题二
ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
 
原因:无法创建本地文件问题,用户最大可创建文件数太小
 
解决方案
  切换到root用户,编辑limits.conf配置文件, 添加类似如下内容:
 
vi /etc/security/limits.conf
 
添加如下内容:
*  soft nofile 65536
 
* hard nofile 131072
 
* soft nproc 2048
 
* hard nproc 4096
备注:* 代表Linux所有用户名称(比如 hadoop)
 
  保存、退出、重新登录才可生效。
 
 
 
 
问题三
max number of threads [1024] for user [es] likely too low, increase to at least [2048]
原因:无法创建本地线程问题,用户最大可创建线程数太小
 
解决方案:切换到root用户,进入limits.d目录下,修改90-nproc.conf 配置文件。
 
vi /etc/security/limits.d/90-nproc.conf
 
找到如下内容:
 
* soft nproc 1024
 
#修改为
 
* soft nproc 2048
 
 
 
问题四
max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
原因:最大虚拟内存太小
 
解决方案:切换到root用户下,修改配置文件sysctl.conf
 
vi /etc/sysctl.conf
 
添加下面配置:
 
vm.max_map_count=655360
 
并执行命令:
 
sysctl -p
 
然后重新启动elasticsearch,即可启动成功。
 
 
 
问题五
ElasticSearch启动找不到主机或路由
原因:ElasticSearch 单播配置有问题
 
解决方案
检查ElasticSearch中的配置文件
vi  config/elasticsearch.yml
找到如下配置:
 
discovery.zen.ping.unicast.hosts:["192.168.**.**:9300","192.168.**.**:9300"]
一般情况下,是这里配置有问题,注意书写格式
 
 
 
问题六
org.elasticsearch.transport.RemoteTransportException:  Failed to deserialize exception response from stream
 
原因:ElasticSearch节点之间的jdk版本不一致
 
解决方案:ElasticSearch集群统一jdk环境
 
 
 
问题七
Unsupported major.minor version 52.0
 
原因:jdk版本问题太低
 
解决方案:更换jdk版本,ElasticSearch5.0.0支持jdk1.8.0
 
 
 
问题八
bin/elasticsearch-plugin install license
ERROR: Unknown plugin license
 
原因:ElasticSearch5.0.0以后插件命令已经改变
 
解决方案:使用最新命令安装所有插件

bin/elasticsearch-plugin install x-pack

 

 

 

 

 

 

问题九:

  在Kibana里,安装marvel插件,

Error: unexpected eof
Plugin installation was unsuccessful due to error "Error extracting plugin archive"

   

解决方案

  (1)是因为,网速不好,修改下本地的DNS即可。重新执行

 

 

在线安装marvel插件命令 
  bin/kibana plugin –install elasticsearch/marvel/latest 
离线安装marvel插件命令 
  bin/kibana plugin –install marvel –url file:///home/hadoop/app/marvel-2.4.4.tar.gz  (注意,离线的话,注意跟着自己的路径)

 

 

  (2)若实在还是不行的话,则尝试离线安装吧!

 

  然后,再上传,我这里上传到/home/hadoop/app目录下

 

 

 

   然后,执行下面的命令,注意要根据你自己上传的目录。

复制代码
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ pwd
/home/hadoop/app/kibana-4.6.3-linux-x86_64
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ ll
total 48
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 bin
drwxrwxr-x.  2 hadoop hadoop 4096 Mar 25 07:55 config
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 data
drwxrwxr-x.  2 hadoop hadoop 4096 Mar 25 18:33 installedPlugins
-rw-rw-r--.  1 hadoop hadoop  562 Nov  4 23:24 LICENSE.txt
drwxrwxr-x.  6 hadoop hadoop 4096 Nov  4 23:24 node
drwxrwxr-x. 83 hadoop hadoop 4096 Nov  4 23:24 node_modules
drwxrwxr-x.  3 hadoop hadoop 4096 Nov  4 23:24 optimize
-rw-rw-r--.  1 hadoop hadoop  701 Nov  4 23:24 package.json
-rw-rw-r--.  1 hadoop hadoop 2322 Nov  4 23:24 README.txt
drwxrwxr-x.  8 hadoop hadoop 4096 Nov  4 23:24 src
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 webpackShims
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ cd installedPlugins/
[hadoop@HadoopMaster installedPlugins]$ ll
total 0
[hadoop@HadoopMaster installedPlugins]$ cd ..
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ bin/kibana plugin --install marvel --url file:///home/hadoop/app/marvel-2.4.4.tar.gz
Installing marvel
Attempting to transfer from file:///home/hadoop/app/marvel-2.4.4.tar.gz    (注意我这里是/home/hadoop/app/marvel-2.4.4.tar.gz)
Transferring 10162116 bytes....................
Transfer complete
Extracting plugin archive
Extraction complete
Optimizing and caching browser bundles...
Plugin installation complete
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ 
复制代码

 

 

 

  查看Kibana里是否安装marverl插件成功!

复制代码
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ pwd
/home/hadoop/app/kibana-4.6.3-linux-x86_64
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ ll
total 48
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 bin
drwxrwxr-x.  2 hadoop hadoop 4096 Mar 25 07:55 config drwxrwxr-x. 2 hadoop hadoop 4096 Nov 4 23:24 data drwxrwxr-x. 3 hadoop hadoop 4096 Mar 25 18:49 installedPlugins -rw-rw-r--. 1 hadoop hadoop 562 Nov 4 23:24 LICENSE.txt drwxrwxr-x. 6 hadoop hadoop 4096 Nov 4 23:24 node drwxrwxr-x. 83 hadoop hadoop 4096 Nov 4 23:24 node_modules drwxrwxr-x. 3 hadoop hadoop 4096 Nov 4 23:24 optimize -rw-rw-r--. 1 hadoop hadoop 701 Nov 4 23:24 package.json -rw-rw-r--. 1 hadoop hadoop 2322 Nov 4 23:24 README.txt drwxrwxr-x. 8 hadoop hadoop 4096 Nov 4 23:24 src drwxrwxr-x. 2 hadoop hadoop 4096 Nov 4 23:24 webpackShims [hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ cd installedPlugins/ [hadoop@HadoopMaster installedPlugins]$ ll total 4 drwxrwxr-x. 6 hadoop hadoop 4096 Mar 25 18:49 marvel [hadoop@HadoopMaster installedPlugins]$ cd marvel/ [hadoop@HadoopMaster marvel]$ ll total 88 -rw-rw-r--. 1 hadoop hadoop 2366 Dec 21 10:26 index.js -rw-rw-r--. 1 hadoop hadoop 43681 Dec 21 10:26 LICENSE.txt drwxrwxr-x. 486 hadoop hadoop 20480 Mar 25 18:48 node_modules -rw-rw-r--. 1 hadoop hadoop 150 Dec 21 10:26 NOTICE.txt -rw-rw-r--. 1 hadoop hadoop 1410 Jan 6 07:41 package.json drwxrwxr-x. 8 hadoop hadoop 4096 Mar 25 18:48 public drwxrwxr-x. 4 hadoop hadoop 4096 Mar 25 18:48 server drwxrwxr-x. 2 hadoop hadoop 4096 Mar 25 18:48 webpackShims [hadoop@HadoopMaster marvel]$ 
复制代码

  注意:在kibana中安装marvel 插件之后,如果之前已经启动kibana需要重启kibana。

 

 

 

  问题十:启动kibana时一直卡在[listening] Server running at http://0.0.0.0:5601,界面打开什么都没有,出现

No Marvel Data Found (marvel error)

[error][status][plugin:elasticsearch@1.0.0] Status changed from red to red - Service Unavailable?

[error][status][plugin:elasticsearch@1.0.0] Status changed from red to red - Elasticsearch is still initializing the kibana index.

 

 

 

 

 

 

 

 

   注意,若您是第一次进入kibana的话,则初次进入需要至少创建一个索引模板,这个是对应elasticsearch中的索引。

因为,kibana默认是没有es里的东西的。也可以见如下,默认是Logstash里的东西。

则如下。

  解决办法

 首先,进入

http://192.168.80.10:5601/app/kibana

  

   因为初次进入kibana需要至少创建一个索引模板,这个是对应elasticsearch中的索引。

  具体怎么创建es里的索引,请移步先去看完我这篇博客,创建好es的索引再来吧!

Elasticsearch之curl创建索引

   要么,你也可以直接拿默认的,即Logstash,也可以但是,前提你得安装好Logstash,怎么安装,请移步

Logstash安装(图文详解)(多节点的ELK集群安装在一个节点就好)

 

  然后,ok
继续

 

 

 

 

 

 

注意: 若您不是第一次进入kibana的话,则如下。

解决办法:

复制代码
server.host: "192.168.80.10"        
server.port: 5601
elasticsearch.url: "http://192.168.80.10:9200"
kibana.index: ".kibana"


对于server.host,最好别0.0.0.0,不安全。不建议
复制代码

    也有人说,用火狐浏览器和谷歌浏览器就能打开了,可以尝试一下!

  也有人说, 一般是人为删除(比如在sense插件里执行删除命令)marvel数据,导致marvel采集出错(删除了半天数据,另外半天数据将无法正常采集),不能统计;对于这种情况,等第二天marvel就可以正常使用了。

  也有可能是9300端口被占用,marvel默认使用9300端口;对于这种情况,找到9300端口占用进程,kill掉,重启kibana即可。

   修好后,先分别kill掉三台机器的es进程,然后开启es进程,再重新,比如我这里在HadoopMaster这台上开启kibana进程,即可。

 

得到,继续



本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6616081.html,如需转载请自行联系原作者

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
网络安全
window系统下安装elk
本文介绍了Elasticsearch、Logstash和Kibana(统称ELK栈)8.17.3版本的安装与配置流程。主要内容包括: - **Elasticsearch**:详细描述了从下载到启动服务的步骤,以及`elasticsearch.yml`的关键配置项,并提供了Postman操作示例及常见问题解决方案。 - **Logstash**:涵盖了插件安装、配置文件`logstash.conf`编写及其启动命令。 - **Kibana**:讲解了下载、配置`kibana.yml`和启动过程,确保与Elasticsearch正确连接。
|
12月前
|
JSON 安全 数据可视化
Elasticsearch(es)在Windows系统上的安装与部署(含Kibana)
Kibana 是 Elastic Stack(原 ELK Stack)中的核心数据可视化工具,主要与 Elasticsearch 配合使用,提供强大的数据探索、分析和展示功能。elasticsearch安装在windows上一般是zip文件,解压到对应目录。文件,elasticsearch8.x以上版本是自动开启安全认证的。kibana安装在windows上一般是zip文件,解压到对应目录。elasticsearch的默认端口是9200,访问。默认用户是elastic,密码需要重置。
5856 0
ELK 圣经:Elasticsearch、Logstash、Kibana 从入门到精通
ELK是一套强大的日志管理和分析工具,广泛应用于日志监控、故障排查、业务分析等场景。本文档将详细介绍ELK的各个组件及其配置方法,帮助读者从零开始掌握ELK的使用。
|
存储 监控 安全
|
8月前
|
消息中间件 Java Kafka
搭建ELK日志收集,保姆级教程
本文介绍了分布式日志采集的背景及ELK与Kafka的整合应用。传统多服务器环境下,日志查询效率低下,因此需要集中化日志管理。ELK(Elasticsearch、Logstash、Kibana)应运而生,但单独使用ELK在性能上存在瓶颈,故结合Kafka实现高效的日志采集与处理。文章还详细讲解了基于Docker Compose构建ELK+Kafka环境的方法、验证步骤,以及如何在Spring Boot项目中整合ELK+Kafka,并通过Logback配置实现日志的采集与展示。
1247 64
搭建ELK日志收集,保姆级教程
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
929 90
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
运维 监控 Ubuntu
一键启动日志魔法:揭秘ELK自动安装脚本的神秘面纱!
【8月更文挑战第9天】在数据驱动时代,高效处理日志至关重要。ELK Stack(Elasticsearch、Logstash、Kibana)是强大的日志分析工具,但其复杂的安装配置常让初学者望而却步。本文介绍如何编写ELK自动安装脚本,简化部署流程。脚本适用于Ubuntu系统,自动完成ELK下载、安装及基本配置,包括依赖项安装、服务启动及自启设置,极大降低了使用门槛,助力运维人员和开发者轻松构建日志分析平台。
515 6