elk+filebeat+grafana日志收集平台学习笔记(下)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: elk+filebeat+grafana日志收集平台学习笔记

3.修改存储数据库为mysql


默认使用sqlite3数据库,可以编辑配置文件/etc/grafana/grafana.ini,修改使用的数据库,可以选择mysql或者postgres,默认数据库文件位置/var/lib/grafana/grafana.db

创建grafana数据库


create database grafana character set utf8 collate utf8_general_ci;


编辑grafana配置文件


vim /etc/grafana/grafana.ini
在[database]段下添加以下内容
type = mysql
host = 192.168.179.131:3306
name = grafana
user = root
password = "123456"


重启grafana会报一个错,因为我使用的是mysql8.0的数据库,他不支持授权方法caching_sha2_password,解决方法是配置root用户使用mysql_native_password身份验证插件连接器


reason=”Service init failed: Migration failed err: this authentication plugin is not supported


alter user root@'%' identified with mysql_native_password by '123456';
select user, plugin from mysql.user;


4.添加数据源


首先添加一个elasticsearch的数据源


640.jpg

640.jpg

640.jpg

640.png

640.jpg

640.jpg


使用kibana展示数据


数据展示完成如下所示


640.jpg

640.jpg

640.jpg


下面开始进行逐一添加


创建访问IP排行


首先创建一个柱形图


640.png


选择索引模式或者保存的搜索


640.png


定义x轴信息,并把clientip字段作为求和的值


640.png


单击保存就可以创建图形了


创建访问IP的坐标地图


这一项需要依赖geoip插件,坐标地图需要有地理坐标的数据类型geo_point存在,但是es创建动态映射不会定义这些特殊的数据类型,这就需要我们自己定义映射模板,mapping信息可以复制之前自动创建的映射内容,然后修改coordinate的数据类型为geo_point就可以了,mapping信息可以从这里复制。


640.jpg


然后我们在dev tools中定义索引的模板,下图是我之前定义好的模板,创建模板使用put请求,


关于geo_point数据类型可以查看


官方文档


640.jpg

640.jpg


 

修改完之后可以删除索引并重新生成新的索引,然后需要删除索引模式,并重新创建索引模式,不然地图上可能会没有数据。


创建坐标地图


640.jpg


选择索引模式


640.png


选择具有geo_point类型的字段


640.jpg


保存之后就可以看到正常的地图了


使用grafana展示数据


创建一个博客访问量的图形


640.png

640.jpg

640.jpg

640.png





相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
相关文章
|
2月前
|
存储 运维 监控
超越传统模型:从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及,系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎,以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
164 6
|
3月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
4月前
|
存储 监控 Serverless
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
|
1月前
|
存储 监控 安全
|
4月前
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
3月前
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
390 0
|
4月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
4月前
|
消息中间件 Kafka 应用服务中间件
ELK7.6+Filebeat集群部署
ELK7.6+Filebeat集群部署
|
4月前
|
监控 Java Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
|
4月前
|
存储 数据可视化 Linux
在Linux中,如何使用ELK进行日志管理和分析?
在Linux中,如何使用ELK进行日志管理和分析?