elk+filebeat+grafana日志收集平台学习笔记(下)

简介: elk+filebeat+grafana日志收集平台学习笔记

3.修改存储数据库为mysql


默认使用sqlite3数据库,可以编辑配置文件/etc/grafana/grafana.ini,修改使用的数据库,可以选择mysql或者postgres,默认数据库文件位置/var/lib/grafana/grafana.db

创建grafana数据库


create database grafana character set utf8 collate utf8_general_ci;


编辑grafana配置文件


vim /etc/grafana/grafana.ini
在[database]段下添加以下内容
type = mysql
host = 192.168.179.131:3306
name = grafana
user = root
password = "123456"


重启grafana会报一个错,因为我使用的是mysql8.0的数据库,他不支持授权方法caching_sha2_password,解决方法是配置root用户使用mysql_native_password身份验证插件连接器


reason=”Service init failed: Migration failed err: this authentication plugin is not supported


alter user root@'%' identified with mysql_native_password by '123456';
select user, plugin from mysql.user;


4.添加数据源


首先添加一个elasticsearch的数据源


640.jpg

640.jpg

640.jpg

640.png

640.jpg

640.jpg


使用kibana展示数据


数据展示完成如下所示


640.jpg

640.jpg

640.jpg


下面开始进行逐一添加


创建访问IP排行


首先创建一个柱形图


640.png


选择索引模式或者保存的搜索


640.png


定义x轴信息,并把clientip字段作为求和的值


640.png


单击保存就可以创建图形了


创建访问IP的坐标地图


这一项需要依赖geoip插件,坐标地图需要有地理坐标的数据类型geo_point存在,但是es创建动态映射不会定义这些特殊的数据类型,这就需要我们自己定义映射模板,mapping信息可以复制之前自动创建的映射内容,然后修改coordinate的数据类型为geo_point就可以了,mapping信息可以从这里复制。


640.jpg


然后我们在dev tools中定义索引的模板,下图是我之前定义好的模板,创建模板使用put请求,


关于geo_point数据类型可以查看


官方文档


640.jpg

640.jpg


 

修改完之后可以删除索引并重新生成新的索引,然后需要删除索引模式,并重新创建索引模式,不然地图上可能会没有数据。


创建坐标地图


640.jpg


选择索引模式


640.png


选择具有geo_point类型的字段


640.jpg


保存之后就可以看到正常的地图了


使用grafana展示数据


创建一个博客访问量的图形


640.png

640.jpg

640.jpg

640.png





相关文章
|
消息中间件 Java Kafka
搭建ELK日志收集,保姆级教程
本文介绍了分布式日志采集的背景及ELK与Kafka的整合应用。传统多服务器环境下,日志查询效率低下,因此需要集中化日志管理。ELK(Elasticsearch、Logstash、Kibana)应运而生,但单独使用ELK在性能上存在瓶颈,故结合Kafka实现高效的日志采集与处理。文章还详细讲解了基于Docker Compose构建ELK+Kafka环境的方法、验证步骤,以及如何在Spring Boot项目中整合ELK+Kafka,并通过Logback配置实现日志的采集与展示。
1494 64
搭建ELK日志收集,保姆级教程
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
6663 189
Grafana Loki,轻量级日志系统
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
1062 90
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
存储 监控 安全
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
2586 0
|
消息中间件 Kafka 应用服务中间件
ELK7.6+Filebeat集群部署
ELK7.6+Filebeat集群部署
|
存储 数据可视化 Linux
在Linux中,如何使用ELK进行日志管理和分析?
在Linux中,如何使用ELK进行日志管理和分析?

推荐镜像

更多