7-TDengine集成Grafana实现日志数据可视化

简介: 7-TDengine集成Grafana实现日志数据可视化

背景


目前我们已经使用 TDengine 存储了大量的数据,这些数据一般要求以各种方式呈现给用户或者统计后传给上层业务。作为一款时序数据库,非常适合存储结构化的日志数据,类似于 InfluxDBTDengine 可以方便地与 Grafana 进行集成,整个过程无需任何代码开发, TDengine 中数据表的内容可以在仪表盘上进行可视化展现。这次我们先以 TDengine 自行记录的日志以及官方提供的 tdengine-grafana.json 数据屏来演示。


Note: TDengine 2.1.2.0 服务运行在 CentOS7 虚拟机上, Grafana 6.2.5 安装在 Windows 操作系统(Win10)上。


先看下效果


image.png


TDengine的Grafana插件


  • 添加插件


TDengineGrafana 插件 /usr/local/taos/connector/grafanaplugin 目录拷贝到 D:\Applications\grafana-6.2.5\data\plugins\tdengine 目录

image.png

  • 启动Grafana

双击 D:\Applications\grafana-6.2.5\bin\grafana-server.exe


配置使用TDengine数据源


image.png

image.png


导入Dashboard


导入插件目录下的 tdengine-grafana.jsonD:\Applications\grafana-6.2.5\data\plugins\tdengine\dashboard\tdengine-grafana.json

image.png

image.png

image.png


TDengine的日志在Grafana中展示时用到的SQL


-- req_select
select sum(req_select) from log.dn where ts >= now-1h and ts < now interval(1m)
-- req_insert
select sum(req_insert) from log.dn where ts >= now-1h and ts < now interval(1m)
-- mem_taosd
select  max(mem_taosd)  from log.dn where ts >= now -10m and ts < now
-- mem_system
select  max(mem_system)  from log.dn where ts >= now -10h and ts < now
-- band_speed
select avg(band_speed)  from log.dn where ts >= now-1h and ts < now interval(1m)
-- cpu_system11
select  avg(cpu_system) from log.dn where ts >= now-1h and ts < now  interval(1s)
-- cpu_taosd
select  avg(cpu_taosd) from log.dn where ts >= now-1h and ts < now  interval(1s)
-- avg_disk_used
select avg(disk_used)  disk_used from log.dn where ts >= '2021-07-29T01:01:46.744Z' and ts < '2021-07-29T02:01:46.744Z' interval(1s) group by fqdn


遇到的问题


在上一步的 导入Dashboard 中,浏览器报错:

image.png

解决方法:通过源码仓库的Issues查到了类似的问题,使用更新后的 tdengine-grafana.json 导入即可。


github.com/taosdata/TD…

github.com/taosdata/gr…


目录
相关文章
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
5069 70
Grafana Loki,轻量级日志系统
|
SQL druid Oracle
【YashanDB知识库】yasdb jdbc驱动集成druid连接池,业务(java)日志中有token IDENTIFIER start异常
客户Java日志中出现异常,影响Druid的merge SQL功能(将SQL字面量替换为绑定变量以统计性能),但不影响正常业务流程。原因是Druid在merge SQL时传入null作为dbType,导致无法解析递归查询中的`start`关键字。
|
存储 安全 Java
Spring Boot 3 集成Spring AOP实现系统日志记录
本文介绍了如何在Spring Boot 3中集成Spring AOP实现系统日志记录功能。通过定义`SysLog`注解和配置相应的AOP切面,可以在方法执行前后自动记录日志信息,包括操作的开始时间、结束时间、请求参数、返回结果、异常信息等,并将这些信息保存到数据库中。此外,还使用了`ThreadLocal`变量来存储每个线程独立的日志数据,确保线程安全。文中还展示了项目实战中的部分代码片段,以及基于Spring Boot 3 + Vue 3构建的快速开发框架的简介与内置功能列表。此框架结合了当前主流技术栈,提供了用户管理、权限控制、接口文档自动生成等多项实用特性。
1100 8
|
Java 程序员 API
Android|集成 slf4j + logback 作为日志框架
做个简单改造,统一 Android APP 和 Java 后端项目打印日志的体验。
889 1
|
存储 JSON Ubuntu
时序数据库 TDengine 支持集成开源的物联网平台 ThingsBoard
本文介绍了如何结合 Thingsboard 和 TDengine 实现设备管理和数据存储。Thingsboard 中的“设备配置”与 TDengine 中的超级表相对应,每个设备对应一个子表。通过创建设备配置和设备,实现数据的自动存储和管理。具体操作包括创建设备配置、添加设备、写入数据,并展示了车辆实时定位追踪和车队维护预警两个应用场景。
874 3
|
存储 数据可视化 JavaScript
可视化集成API接口请求+变量绑定+源码输出
可视化集成API接口请求+变量绑定+源码输出
438 4
|
移动开发 数据可视化 小程序
可视化集成相当优秀ucharts图表组件
可视化集成相当优秀ucharts图表组件
228 4
|
Prometheus Kubernetes 监控
Grafana 与 Kubernetes 的集成
【8月更文第29天】Grafana 是一个开源的仪表板和可视化平台,它支持多种数据源,可以用来创建美观的仪表板和图表。Kubernetes (K8s) 是一个流行的容器编排平台,用于自动化容器应用的部署、扩展和管理。将 Grafana 与 Kubernetes 集成起来,可以方便地监控 Kubernetes 集群的状态和性能指标。本文将详细介绍如何配置和使用 Grafana 来监控 Kubernetes 集群。
684 2
|
存储 Prometheus 监控
Grafana 与 Prometheus 集成:打造高效监控系统
【8月更文第29天】在现代软件开发和运维领域,监控系统已成为不可或缺的一部分。Prometheus 和 Grafana 作为两个非常流行且互补的开源工具,可以协同工作来构建强大的实时监控解决方案。Prometheus 负责收集和存储时间序列数据,而 Grafana 则提供直观的数据可视化功能。本文将详细介绍如何集成这两个工具,构建一个高效、灵活的监控系统。
1832 1
|
监控 数据可视化 Devops
Grafana 与云服务提供商的集成
【8月更文第29天】Grafana 是一个强大的数据可视化工具,可以与多种数据源集成,从而为用户提供详细的监控和分析仪表板。在云服务时代,Grafana 的这种灵活性使得它能够轻松地与 AWS、Azure 和 Google Cloud 等云服务提供商的数据源集成,帮助 DevOps 和 SRE 团队更好地监控云资源的状态。本文将介绍如何将 Grafana 与这些主流云服务提供商的数据源集成。
326 1

热门文章

最新文章

推荐镜像

更多