7-TDengine集成Grafana实现日志数据可视化

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 7-TDengine集成Grafana实现日志数据可视化

背景


目前我们已经使用 TDengine 存储了大量的数据,这些数据一般要求以各种方式呈现给用户或者统计后传给上层业务。作为一款时序数据库,非常适合存储结构化的日志数据,类似于 InfluxDBTDengine 可以方便地与 Grafana 进行集成,整个过程无需任何代码开发, TDengine 中数据表的内容可以在仪表盘上进行可视化展现。这次我们先以 TDengine 自行记录的日志以及官方提供的 tdengine-grafana.json 数据屏来演示。


Note: TDengine 2.1.2.0 服务运行在 CentOS7 虚拟机上, Grafana 6.2.5 安装在 Windows 操作系统(Win10)上。


先看下效果


image.png


TDengine的Grafana插件


  • 添加插件


TDengineGrafana 插件 /usr/local/taos/connector/grafanaplugin 目录拷贝到 D:\Applications\grafana-6.2.5\data\plugins\tdengine 目录

image.png

  • 启动Grafana

双击 D:\Applications\grafana-6.2.5\bin\grafana-server.exe


配置使用TDengine数据源


image.png

image.png


导入Dashboard


导入插件目录下的 tdengine-grafana.jsonD:\Applications\grafana-6.2.5\data\plugins\tdengine\dashboard\tdengine-grafana.json

image.png

image.png

image.png


TDengine的日志在Grafana中展示时用到的SQL


-- req_select
select sum(req_select) from log.dn where ts >= now-1h and ts < now interval(1m)
-- req_insert
select sum(req_insert) from log.dn where ts >= now-1h and ts < now interval(1m)
-- mem_taosd
select  max(mem_taosd)  from log.dn where ts >= now -10m and ts < now
-- mem_system
select  max(mem_system)  from log.dn where ts >= now -10h and ts < now
-- band_speed
select avg(band_speed)  from log.dn where ts >= now-1h and ts < now interval(1m)
-- cpu_system11
select  avg(cpu_system) from log.dn where ts >= now-1h and ts < now  interval(1s)
-- cpu_taosd
select  avg(cpu_taosd) from log.dn where ts >= now-1h and ts < now  interval(1s)
-- avg_disk_used
select avg(disk_used)  disk_used from log.dn where ts >= '2021-07-29T01:01:46.744Z' and ts < '2021-07-29T02:01:46.744Z' interval(1s) group by fqdn


遇到的问题


在上一步的 导入Dashboard 中,浏览器报错:

image.png

解决方法:通过源码仓库的Issues查到了类似的问题,使用更新后的 tdengine-grafana.json 导入即可。


github.com/taosdata/TD…

github.com/taosdata/gr…


相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
目录
相关文章
|
2月前
|
存储 监控 Serverless
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
|
3月前
|
SQL 运维 监控
SLS 数据加工全面升级,集成 SPL 语法
在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。SLS 数据加工功能旨在解决非结构化的日志数据处理,当前全面升级,集成 SPL 语言、更强的数据处理性能、更优的使用成本。
18108 136
|
4月前
|
机器学习/深度学习 数据可视化
【tensorboard】深度学习的日志信息events.out.tfevents文件可视化工具
【tensorboard】深度学习的日志信息events.out.tfevents文件可视化工具
|
2月前
|
Prometheus Kubernetes 监控
Grafana 与 Kubernetes 的集成
【8月更文第29天】Grafana 是一个开源的仪表板和可视化平台,它支持多种数据源,可以用来创建美观的仪表板和图表。Kubernetes (K8s) 是一个流行的容器编排平台,用于自动化容器应用的部署、扩展和管理。将 Grafana 与 Kubernetes 集成起来,可以方便地监控 Kubernetes 集群的状态和性能指标。本文将详细介绍如何配置和使用 Grafana 来监控 Kubernetes 集群。
35 2
|
2月前
|
监控 数据可视化 Devops
Grafana 与云服务提供商的集成
【8月更文第29天】Grafana 是一个强大的数据可视化工具,可以与多种数据源集成,从而为用户提供详细的监控和分析仪表板。在云服务时代,Grafana 的这种灵活性使得它能够轻松地与 AWS、Azure 和 Google Cloud 等云服务提供商的数据源集成,帮助 DevOps 和 SRE 团队更好地监控云资源的状态。本文将介绍如何将 Grafana 与这些主流云服务提供商的数据源集成。
38 1
|
2月前
|
存储 Prometheus 监控
Grafana 与 Prometheus 集成:打造高效监控系统
【8月更文第29天】在现代软件开发和运维领域,监控系统已成为不可或缺的一部分。Prometheus 和 Grafana 作为两个非常流行且互补的开源工具,可以协同工作来构建强大的实时监控解决方案。Prometheus 负责收集和存储时间序列数据,而 Grafana 则提供直观的数据可视化功能。本文将详细介绍如何集成这两个工具,构建一个高效、灵活的监控系统。
150 1
|
1月前
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
66 0
|
2月前
|
Prometheus 监控 Cloud Native
在Linux中,如何使用Grafana和Prometheus进行网络监控和可视化?
在Linux中,如何使用Grafana和Prometheus进行网络监控和可视化?
|
3月前
|
Kubernetes Cloud Native 持续交付
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
|
2月前
|
数据采集 监控 Unix
性能监控之Telegraf+InfluxDB+Grafana实现结构化日志实时监控
【8月更文挑战第1天】性能监控之Telegraf+InfluxDB+Grafana实现结构化日志实时监控
199 0
下一篇
无影云桌面