Filebeat日志采集器实例 2

简介: Filebeat日志采集器实例

3.4.2 配置Logstash连接ElasticSearch

上面的数据,其实还是我们的原始数据,并没有经过处理,所以我们这个时候就需要使用到Logstash的其它功能了。我们继续修改配置文件

# 打开配置文件
vim  mogu-dashboard.conf

然后修改一下的值

input {
        beats {
                port => "5044"
        }
}
filter {
        mutate {
                split => {"message"=>"|"}
        }
        mutate {
                add_field => {
                "userId" => "%{[message][1]}"
                "visit" => "%{[message][2]}"
                "date" => "%{[message][3]}"
                }
        }
        mutate {
                convert => {
                "userId" => "integer"
                "visit" => "string"
                "date" => "string"
                }
        }
        mutate {
           remove_field => [ "host" ]
        }
}
#output {
# stdout { codec => rubydebug }
#}
output {
  elasticsearch {
    hosts => [ "127.0.0.1:9200"]
  }
}

然后再次启动

./bin/logstash -f mogu-dashboard.conf

其实能够看到,我们原来的数据,就经过了处理了,产生了新的字段

同时我们还可以对我们的数据,进行类型转换,为了方便我们的下游进行处理

  mutate {
    convert => {
    "userId" => "integer"
    "visit" => "string"
    "date" => "string"
    }
  }

4 Kibana分析业务

4.1 启动Kibana

我们最后就需要通过Kibana来展示我们的图形化数据

#启动
./bin/kibana
#通过浏览器进行访问
http://192.168.40.133:5601/app/kibana

4.1.1 添加到索引库

添加Logstash索引到Kibana中:

http://192.168.40.133:5601/app/kibana/indexPatterns/create

输入我们的匹配规则,然后匹配到logstash,然后选择时间字段后创建

4.1.2 创建柱形图

我们点击右侧Visualizations,然后开始创建图标

然后选择柱形图

在选择我们的索引

最后我们定义我们的X轴,选择按照时间进行添加

最后更新我们的页面,然后在选择最近的30分钟

就能够看到我们的日志在源源不断的生成了,同时我们可以对我们的这个图表进行保存

说明:x轴是时间,以天为单位,y轴是count数

保存:(my-dashboard-时间间隔的柱形图)

4.1.3 创建饼图

统计各个操作的数量,形成饼图。

保存:(my-dashboard-各个操作的饼图)

4.1.4 数据表格

在图标中,选择我们需要显示的字段即可

在数据探索中进行保存,并且保存,将各个操作的数据以表格的形式展现出来。

保存:(my-dashboard-表格)

4.2 制作Dashboard

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
存储 JSON 监控
可以通过配置Filebeat来将Higress日志持久化到磁盘
【2月更文挑战第10天】可以通过配置Filebeat来将Higress日志持久化到磁盘
29 4
filebeat 日志路径问题
通过 rpm 安装的 filebeat ,测试发现 Filebeat 自身日志未输出到 /var/log/filebeat,而输出到 /var/log/message
|
7月前
|
存储 数据采集 安全
通过filebeat、logstash、rsyslog采集nginx日志的几种方式
由于nginx功能强大,性能突出,越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。
261 0
|
6月前
|
存储 NoSQL Redis
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
133 0
|
6月前
|
NoSQL Redis 索引
Filebeat收集日志数据传输到Redis,通过Logstash来根据日志字段创建不同的ES索引
Filebeat收集日志数据传输到Redis,通过Logstash来根据日志字段创建不同的ES索引
|
11月前
|
监控 关系型数据库 MySQL
Docker 容器启动失败日志分析方法,启动sonic容器实例simple时未报错运行一会又停止的问题排查实例演示
Docker 容器启动失败日志分析方法,启动sonic容器实例simple时未报错运行一会又停止的问题排查实例演示
423 0
Docker 容器启动失败日志分析方法,启动sonic容器实例simple时未报错运行一会又停止的问题排查实例演示
|
7月前
|
Java
Filebeat日志采集器实例 1
Filebeat日志采集器实例
76 1
|
3月前
|
监控 NoSQL Redis
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
105 0
|
6月前
|
NoSQL 应用服务中间件 Redis
Filebeat限制采集的日志大小实际应用验证
Filebeat限制采集的日志大小实际应用验证
|
9月前
|
监控 NoSQL Redis
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
ELK7.x日志系统搭建 3. 采用轻量级日志收集Filebeat
117 0