六、安装Logstash并导入演示数据到ElasticSearch
下载地址
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.1.0.zip
演示数据是在movielens这个推荐系统中欧获取的,数据就不用大家下载了,需要演示数据的找咔咔即可
这类的数据分享不了,所以…
解压
unzip logstash-7.1.0.zip
启动logstash
./bin/logstash -f logstash.conf
直接执行肯定是不行的,你首先需要拿到演示数据,接着把logstash.conf、movies.csv文件放到logstash目录的第一层即可
下图圈起来的地方可以就是movies.csv的存放位置,把这个路径改成你的路径即可
然后当你再次执行启动logstash命令时,你会遇到第一个问题
logstash could not find java; set JAVA_HOME or ensure java is in PATH
首先你得确认你有没有安装java
# 验证是否安装
java -version
出现下图说明安装成功了,若未安装也不用着急,咔咔给你详细流程
安装java8
传送门
心急的你是不是直接wget就上手了,这是不行的,下载java8安装包需要点击一下确认,并且没有注册oracle的还下载不了,因此你先需要一个oracle账号。
先把压缩包下载到宿主机,然后使用神器scp命令传输文件,那是相当的快,这样就可以把下载的java包传输到服务器了。
scp jdk-8u311-linux-x64.tar.gz root:192.168.17.128:/
在/usr/local下创建java目录
cd /usr/local
mkdir java
移动java压缩包到/usr/local/java
mv jdk-8u311-linux-x64.tar.gz /usr/local/java/
解压
tar -zxf jdk-8u311-linux-x64.tar.gz jdk8
配置环境变量
vim /etc/profile
文件最后加上(如果你跟咔咔的目录一致,则可不用改动)
export JAVA_HOME=/usr/local/java/jdk8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:/$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
刷新生效
source /etc/profile
最后验证即可
# 验证是否安装
java -version
再次执行./bin/logstash -f logstash.conf
依然会出现下图这个错误,但java环境属实已经加上了
来到vim /logstash-7.1.0/bin/logstash.lib.sh,你就会发现错误是从这里打出去的,原因是JAVACMD没有值
在这个文件里搜索了一下发现有很多,于是就直接在上边重新赋值即可,注意圈起来的地方
保存,退出,再次执行
./bin/logstash -f logstash.conf
终于大功告成,把数据导入到ElasticSearch中了
在Kibana中查看是否存在movies的索引
七、安装Cerebro
下载
wget https://github.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro-0.9.4.tgz
解压
tar -zxf cerebro-0.9.4.tgz
修改配置文件,只需要打开host配置即可,ip地址写成自己的即可
hosts = [ #{ # host = "http://192.168.17.128:9100" # name = "Localhost cluster" # headers-whitelist = [ "x-proxy-user", "x-proxy-roles", "X-Forwarded-For" ] #} # Example of host with authentication { host = "http://192.168.17.128:9200" # name = "Secured Cluster" #auth = { # username = "admin" # password = "admin" #} } ]
启动
cd cerebro
./bin/cerebro
输入ip地址+9000端口即可
八、总结
跟着本期文章大家可以成功的把ElasticSearch、Kibana成功安装并启动,ElasticSearch若要让外网可以访问还需要添加几个配置,跟着本期文章走都可以实现的。
简单了解Kibana的界面,后期大多数的演练都在Kibana上。
最后给大家聊了最感兴趣的守护进程启动ElasticSearch和Kibana,网上很多资料不全,执行起来还有问题,咔咔给你最全教程跟着操作即可。