ELK(Elasticsearch/Logstash/Kibana)安装时常见错误总结

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

问题一

[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter:
Java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMPandCONFIG_SECCOMP_FILTERcompiledinatorg.elasticsearch.bootstrap.Seccomp.linuxImpl(Seccomp.java:349) ~[elasticsearch-5.0.0.jar:5.0.0]
at org.elasticsearch.bootstrap.Seccomp.init(Seccomp.java:630) ~[elasticsearch-5.0.0.jar:5.0.0]
 
原因:报了一大串错误,大家不必惊慌,其实只是一个警告,主要是因为你Linux版本过低造成的。
 
解决方案
  1、重新安装新版本的Linux系统
  2、警告不影响使用,可以忽略
 
 
 
问题二
ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
 
原因:无法创建本地文件问题,用户最大可创建文件数太小
 
解决方案
  切换到root用户,编辑limits.conf配置文件, 添加类似如下内容:
 
vi /etc/security/limits.conf
 
添加如下内容:
*  soft nofile 65536
 
* hard nofile 131072
 
* soft nproc 2048
 
* hard nproc 4096
备注:* 代表Linux所有用户名称(比如 hadoop)
 
  保存、退出、重新登录才可生效。
 
 
 
 
问题三
max number of threads [1024] for user [es] likely too low, increase to at least [2048]
原因:无法创建本地线程问题,用户最大可创建线程数太小
 
解决方案:切换到root用户,进入limits.d目录下,修改90-nproc.conf 配置文件。
 
vi /etc/security/limits.d/90-nproc.conf
 
找到如下内容:
 
* soft nproc 1024
 
#修改为
 
* soft nproc 2048
 
 
 
问题四
max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
原因:最大虚拟内存太小
 
解决方案:切换到root用户下,修改配置文件sysctl.conf
 
vi /etc/sysctl.conf
 
添加下面配置:
 
vm.max_map_count=655360
 
并执行命令:
 
sysctl -p
 
然后重新启动elasticsearch,即可启动成功。
 
 
 
问题五
ElasticSearch启动找不到主机或路由
原因:ElasticSearch 单播配置有问题
 
解决方案
检查ElasticSearch中的配置文件
vi  config/elasticsearch.yml
找到如下配置:
 
discovery.zen.ping.unicast.hosts:["192.168.**.**:9300","192.168.**.**:9300"]
一般情况下,是这里配置有问题,注意书写格式
 
 
 
问题六
org.elasticsearch.transport.RemoteTransportException:  Failed to deserialize exception response from stream
 
原因:ElasticSearch节点之间的jdk版本不一致
 
解决方案:ElasticSearch集群统一jdk环境
 
 
 
问题七
Unsupported major.minor version 52.0
 
原因:jdk版本问题太低
 
解决方案:更换jdk版本,ElasticSearch5.0.0支持jdk1.8.0
 
 
 
问题八
bin/elasticsearch-plugin install license
ERROR: Unknown plugin license
 
原因:ElasticSearch5.0.0以后插件命令已经改变
 
解决方案:使用最新命令安装所有插件

bin/elasticsearch-plugin install x-pack

 

 

 

 

 

 

问题九:

  在Kibana里,安装marvel插件,

Error: unexpected eof
Plugin installation was unsuccessful due to error "Error extracting plugin archive"

   

解决方案

  (1)是因为,网速不好,修改下本地的DNS即可。重新执行

 

 

在线安装marvel插件命令 
  bin/kibana plugin –install elasticsearch/marvel/latest 
离线安装marvel插件命令 
  bin/kibana plugin –install marvel –url file:///home/hadoop/app/marvel-2.4.4.tar.gz  (注意,离线的话,注意跟着自己的路径)

 

 

  (2)若实在还是不行的话,则尝试离线安装吧!

 

  然后,再上传,我这里上传到/home/hadoop/app目录下

 

 

 

   然后,执行下面的命令,注意要根据你自己上传的目录。

复制代码
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ pwd
/home/hadoop/app/kibana-4.6.3-linux-x86_64
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ ll
total 48
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 bin
drwxrwxr-x.  2 hadoop hadoop 4096 Mar 25 07:55 config
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 data
drwxrwxr-x.  2 hadoop hadoop 4096 Mar 25 18:33 installedPlugins
-rw-rw-r--.  1 hadoop hadoop  562 Nov  4 23:24 LICENSE.txt
drwxrwxr-x.  6 hadoop hadoop 4096 Nov  4 23:24 node
drwxrwxr-x. 83 hadoop hadoop 4096 Nov  4 23:24 node_modules
drwxrwxr-x.  3 hadoop hadoop 4096 Nov  4 23:24 optimize
-rw-rw-r--.  1 hadoop hadoop  701 Nov  4 23:24 package.json
-rw-rw-r--.  1 hadoop hadoop 2322 Nov  4 23:24 README.txt
drwxrwxr-x.  8 hadoop hadoop 4096 Nov  4 23:24 src
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 webpackShims
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ cd installedPlugins/
[hadoop@HadoopMaster installedPlugins]$ ll
total 0
[hadoop@HadoopMaster installedPlugins]$ cd ..
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ bin/kibana plugin --install marvel --url file:///home/hadoop/app/marvel-2.4.4.tar.gz
Installing marvel
Attempting to transfer from file:///home/hadoop/app/marvel-2.4.4.tar.gz    (注意我这里是/home/hadoop/app/marvel-2.4.4.tar.gz)
Transferring 10162116 bytes....................
Transfer complete
Extracting plugin archive
Extraction complete
Optimizing and caching browser bundles...
Plugin installation complete
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ 
复制代码

 

 

 

  查看Kibana里是否安装marverl插件成功!

复制代码
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ pwd
/home/hadoop/app/kibana-4.6.3-linux-x86_64
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ ll
total 48
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 bin
drwxrwxr-x.  2 hadoop hadoop 4096 Mar 25 07:55 config drwxrwxr-x. 2 hadoop hadoop 4096 Nov 4 23:24 data drwxrwxr-x. 3 hadoop hadoop 4096 Mar 25 18:49 installedPlugins -rw-rw-r--. 1 hadoop hadoop 562 Nov 4 23:24 LICENSE.txt drwxrwxr-x. 6 hadoop hadoop 4096 Nov 4 23:24 node drwxrwxr-x. 83 hadoop hadoop 4096 Nov 4 23:24 node_modules drwxrwxr-x. 3 hadoop hadoop 4096 Nov 4 23:24 optimize -rw-rw-r--. 1 hadoop hadoop 701 Nov 4 23:24 package.json -rw-rw-r--. 1 hadoop hadoop 2322 Nov 4 23:24 README.txt drwxrwxr-x. 8 hadoop hadoop 4096 Nov 4 23:24 src drwxrwxr-x. 2 hadoop hadoop 4096 Nov 4 23:24 webpackShims [hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ cd installedPlugins/ [hadoop@HadoopMaster installedPlugins]$ ll total 4 drwxrwxr-x. 6 hadoop hadoop 4096 Mar 25 18:49 marvel [hadoop@HadoopMaster installedPlugins]$ cd marvel/ [hadoop@HadoopMaster marvel]$ ll total 88 -rw-rw-r--. 1 hadoop hadoop 2366 Dec 21 10:26 index.js -rw-rw-r--. 1 hadoop hadoop 43681 Dec 21 10:26 LICENSE.txt drwxrwxr-x. 486 hadoop hadoop 20480 Mar 25 18:48 node_modules -rw-rw-r--. 1 hadoop hadoop 150 Dec 21 10:26 NOTICE.txt -rw-rw-r--. 1 hadoop hadoop 1410 Jan 6 07:41 package.json drwxrwxr-x. 8 hadoop hadoop 4096 Mar 25 18:48 public drwxrwxr-x. 4 hadoop hadoop 4096 Mar 25 18:48 server drwxrwxr-x. 2 hadoop hadoop 4096 Mar 25 18:48 webpackShims [hadoop@HadoopMaster marvel]$ 
复制代码

  注意:在kibana中安装marvel 插件之后,如果之前已经启动kibana需要重启kibana。

 

 

 

  问题十:启动kibana时一直卡在[listening] Server running at http://0.0.0.0:5601,界面打开什么都没有,出现

No Marvel Data Found (marvel error)

[error][status][plugin:elasticsearch@1.0.0] Status changed from red to red - Service Unavailable?

[error][status][plugin:elasticsearch@1.0.0] Status changed from red to red - Elasticsearch is still initializing the kibana index.

 

 

 

 

 

 

 

 

   注意,若您是第一次进入kibana的话,则初次进入需要至少创建一个索引模板,这个是对应elasticsearch中的索引。

因为,kibana默认是没有es里的东西的。也可以见如下,默认是Logstash里的东西。

则如下。

  解决办法

 首先,进入

http://192.168.80.10:5601/app/kibana

  

   因为初次进入kibana需要至少创建一个索引模板,这个是对应elasticsearch中的索引。

  具体怎么创建es里的索引,请移步先去看完我这篇博客,创建好es的索引再来吧!

Elasticsearch之curl创建索引

   要么,你也可以直接拿默认的,即Logstash,也可以但是,前提你得安装好Logstash,怎么安装,请移步

Logstash安装(图文详解)(多节点的ELK集群安装在一个节点就好)

 

  然后,ok
继续

 

 

 

 

 

 

注意: 若您不是第一次进入kibana的话,则如下。

解决办法:

复制代码
server.host: "192.168.80.10"        
server.port: 5601
elasticsearch.url: "http://192.168.80.10:9200"
kibana.index: ".kibana"


对于server.host,最好别0.0.0.0,不安全。不建议
复制代码

    也有人说,用火狐浏览器和谷歌浏览器就能打开了,可以尝试一下!

  也有人说, 一般是人为删除(比如在sense插件里执行删除命令)marvel数据,导致marvel采集出错(删除了半天数据,另外半天数据将无法正常采集),不能统计;对于这种情况,等第二天marvel就可以正常使用了。

  也有可能是9300端口被占用,marvel默认使用9300端口;对于这种情况,找到9300端口占用进程,kill掉,重启kibana即可。

   修好后,先分别kill掉三台机器的es进程,然后开启es进程,再重新,比如我这里在HadoopMaster这台上开启kibana进程,即可。

 

得到,继续



本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6616081.html,如需转载请自行联系原作者

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
10天前
|
数据可视化 索引
elasticsearch head、kibana 安装和使用
elasticsearch head、kibana 安装和使用
|
22天前
|
存储 负载均衡 索引
linux7安装elasticsearch-7.4.0集群配置
linux7安装elasticsearch-7.4.0集群配置
109 0
|
2月前
|
存储 监控 搜索推荐
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
|
9天前
|
JSON Unix Linux
Elasticsearch如何安装
Elasticsearch如何安装
|
2月前
|
SQL JSON API
ELK技术栈 - Elasticsearch 学习笔记(三)
ELK技术栈 - Elasticsearch 学习笔记(三)
37 0
|
1月前
|
监控 安全 Java
ElasticSearch在Windows上的下载与安装
ElasticSearch在Windows上的下载与安装
|
2月前
|
开发工具 Docker 容器
docker安装集群版ElasticSearch
docker安装集群版ElasticSearch
|
2月前
|
Java Docker 容器
Docker安装ElasticSearch
Docker如何安装ElasticSearch
|
2月前
|
JSON 数据可视化 应用服务中间件
ELK技术栈 - Kibana 学习笔记
ELK技术栈 - Kibana 学习笔记
38 0
|
2月前
|
存储 监控 数据可视化
日志分析对决:揭示 ELK 与 GrayLog 的优势和差异
日志分析对决:揭示 ELK 与 GrayLog 的优势和差异
220 0