问题描述
kibana打开发现无法查看到数据,无论怎么切换索引都是没有数据的
问题排查过程
1.先去查看kibana服务,使用命令ps -ef|grep kibana查看不到kibana进程,然后尝试使用命令重启kibana
nohup ./bin/kibana ./config/kibana.yml &
重启完成后,再次打开kibana报如下错误:
Kibana did not load properly. Check the server output for more information
本来问题是数据查询不到,尝试重启kibana,此时kibana也已经不能展示。
2.检查elasticsearch、logstash、filebeat等,发现所有elasticsearch结点已经全部宕机,其余服务均正常,然后开始尝试重启elasticsearch所有结点,切换用户es,启动所有elasticsearch节点。
3.再次尝试重启kibana,启动完成后再次打开页面,发现出现了如下的页面(启动后这个页面很快又会消失,可能来不及看到这个页面):
从截图上可以看到一个问题,kibana和elasticsearch还是没有连接上,其他功能均已正常。那现在基本可以定位问题就是elasticsearch出了问题。
4.定位问题基本是elasticsearch的问题,然后对elasticserch进行重启,并观察启动日式,发现报了几个文件的读取无权限和操作无权限,故将提示的文件进行所有者转义,其中有一个是gc.log 这个文件是笔者手动创建的,为了观察启动日志的,结果反馈无权限,所以就对该文件进行所有者调整,如下:
chown es:es /apps/elasticsearch/logs/wy-mdm-prd.log chown es:es gc.log # 下面是相关的权限控制 # 改权限 chmod 777 es # 改群组 chgrp es gc.log
5.然后再重启elasticsearch、kibana然后重试kibana页面发现已经ok了。
总结
问题一发现其实应该立即想到是eleasticsearch出了问题,而不是去关注kibana,之所以有这个错误的方向其实问题是使用ps命令查看kibana时找不到对应进程,所以有些怀疑,不过后来经验证,所有都正常后使用ps还是看不到kibana的进程,很是奇怪,这个问题笔者也不知道为啥。最后还是定位了问题,有些区别,在此记录,防止再重蹈覆辙。