3.4.2 配置Logstash连接ElasticSearch
上面的数据,其实还是我们的原始数据,并没有经过处理,所以我们这个时候就需要使用到Logstash的其它功能了。我们继续修改配置文件
# 打开配置文件 vim mogu-dashboard.conf
然后修改一下的值
input { beats { port => "5044" } } filter { mutate { split => {"message"=>"|"} } mutate { add_field => { "userId" => "%{[message][1]}" "visit" => "%{[message][2]}" "date" => "%{[message][3]}" } } mutate { convert => { "userId" => "integer" "visit" => "string" "date" => "string" } } mutate { remove_field => [ "host" ] } } #output { # stdout { codec => rubydebug } #} output { elasticsearch { hosts => [ "127.0.0.1:9200"] } }
然后再次启动
./bin/logstash -f mogu-dashboard.conf
其实能够看到,我们原来的数据,就经过了处理了,产生了新的字段
同时我们还可以对我们的数据,进行类型转换,为了方便我们的下游进行处理
mutate { convert => { "userId" => "integer" "visit" => "string" "date" => "string" } }
4 Kibana分析业务
4.1 启动Kibana
我们最后就需要通过Kibana来展示我们的图形化数据
#启动 ./bin/kibana #通过浏览器进行访问 http://192.168.40.133:5601/app/kibana
4.1.1 添加到索引库
添加Logstash索引到Kibana中:
http://192.168.40.133:5601/app/kibana/indexPatterns/create
输入我们的匹配规则,然后匹配到logstash,然后选择时间字段后创建
4.1.2 创建柱形图
我们点击右侧Visualizations,然后开始创建图标
然后选择柱形图
在选择我们的索引
最后我们定义我们的X轴,选择按照时间进行添加
最后更新我们的页面,然后在选择最近的30分钟
就能够看到我们的日志在源源不断的生成了,同时我们可以对我们的这个图表进行保存
说明:x轴是时间,以天为单位,y轴是count数
保存:(my-dashboard-时间间隔的柱形图)
4.1.3 创建饼图
统计各个操作的数量,形成饼图。
保存:(my-dashboard-各个操作的饼图)
4.1.4 数据表格
在图标中,选择我们需要显示的字段即可
在数据探索中进行保存,并且保存,将各个操作的数据以表格的形式展现出来。
保存:(my-dashboard-表格)
4.2 制作Dashboard