7-TDengine集成Grafana实现日志数据可视化

简介: 7-TDengine集成Grafana实现日志数据可视化

背景


目前我们已经使用 TDengine 存储了大量的数据,这些数据一般要求以各种方式呈现给用户或者统计后传给上层业务。作为一款时序数据库,非常适合存储结构化的日志数据,类似于 InfluxDBTDengine 可以方便地与 Grafana 进行集成,整个过程无需任何代码开发, TDengine 中数据表的内容可以在仪表盘上进行可视化展现。这次我们先以 TDengine 自行记录的日志以及官方提供的 tdengine-grafana.json 数据屏来演示。


Note: TDengine 2.1.2.0 服务运行在 CentOS7 虚拟机上, Grafana 6.2.5 安装在 Windows 操作系统(Win10)上。


先看下效果


image.png


TDengine的Grafana插件


  • 添加插件


TDengineGrafana 插件 /usr/local/taos/connector/grafanaplugin 目录拷贝到 D:\Applications\grafana-6.2.5\data\plugins\tdengine 目录

image.png

  • 启动Grafana

双击 D:\Applications\grafana-6.2.5\bin\grafana-server.exe


配置使用TDengine数据源


image.png

image.png


导入Dashboard


导入插件目录下的 tdengine-grafana.jsonD:\Applications\grafana-6.2.5\data\plugins\tdengine\dashboard\tdengine-grafana.json

image.png

image.png

image.png


TDengine的日志在Grafana中展示时用到的SQL


-- req_select
select sum(req_select) from log.dn where ts >= now-1h and ts < now interval(1m)
-- req_insert
select sum(req_insert) from log.dn where ts >= now-1h and ts < now interval(1m)
-- mem_taosd
select  max(mem_taosd)  from log.dn where ts >= now -10m and ts < now
-- mem_system
select  max(mem_system)  from log.dn where ts >= now -10h and ts < now
-- band_speed
select avg(band_speed)  from log.dn where ts >= now-1h and ts < now interval(1m)
-- cpu_system11
select  avg(cpu_system) from log.dn where ts >= now-1h and ts < now  interval(1s)
-- cpu_taosd
select  avg(cpu_taosd) from log.dn where ts >= now-1h and ts < now  interval(1s)
-- avg_disk_used
select avg(disk_used)  disk_used from log.dn where ts >= '2021-07-29T01:01:46.744Z' and ts < '2021-07-29T02:01:46.744Z' interval(1s) group by fqdn


遇到的问题


在上一步的 导入Dashboard 中,浏览器报错:

image.png

解决方法:通过源码仓库的Issues查到了类似的问题,使用更新后的 tdengine-grafana.json 导入即可。


github.com/taosdata/TD…

github.com/taosdata/gr…


目录
相关文章
|
12月前
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
851 90
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
4716 69
Grafana Loki,轻量级日志系统
|
存储 JSON Ubuntu
时序数据库 TDengine 支持集成开源的物联网平台 ThingsBoard
本文介绍了如何结合 Thingsboard 和 TDengine 实现设备管理和数据存储。Thingsboard 中的“设备配置”与 TDengine 中的超级表相对应,每个设备对应一个子表。通过创建设备配置和设备,实现数据的自动存储和管理。具体操作包括创建设备配置、添加设备、写入数据,并展示了车辆实时定位追踪和车队维护预警两个应用场景。
768 3
|
存储 数据可视化 JavaScript
可视化集成API接口请求+变量绑定+源码输出
可视化集成API接口请求+变量绑定+源码输出
415 4
|
移动开发 数据可视化 小程序
可视化集成相当优秀ucharts图表组件
可视化集成相当优秀ucharts图表组件
207 4
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
324 1
|
Prometheus Kubernetes 监控
Grafana 与 Kubernetes 的集成
【8月更文第29天】Grafana 是一个开源的仪表板和可视化平台,它支持多种数据源,可以用来创建美观的仪表板和图表。Kubernetes (K8s) 是一个流行的容器编排平台,用于自动化容器应用的部署、扩展和管理。将 Grafana 与 Kubernetes 集成起来,可以方便地监控 Kubernetes 集群的状态和性能指标。本文将详细介绍如何配置和使用 Grafana 来监控 Kubernetes 集群。
654 2
|
存储 Prometheus 监控
Grafana 与 Prometheus 集成:打造高效监控系统
【8月更文第29天】在现代软件开发和运维领域,监控系统已成为不可或缺的一部分。Prometheus 和 Grafana 作为两个非常流行且互补的开源工具,可以协同工作来构建强大的实时监控解决方案。Prometheus 负责收集和存储时间序列数据,而 Grafana 则提供直观的数据可视化功能。本文将详细介绍如何集成这两个工具,构建一个高效、灵活的监控系统。
1809 1
|
监控 数据可视化 Devops
Grafana 与云服务提供商的集成
【8月更文第29天】Grafana 是一个强大的数据可视化工具,可以与多种数据源集成,从而为用户提供详细的监控和分析仪表板。在云服务时代,Grafana 的这种灵活性使得它能够轻松地与 AWS、Azure 和 Google Cloud 等云服务提供商的数据源集成,帮助 DevOps 和 SRE 团队更好地监控云资源的状态。本文将介绍如何将 Grafana 与这些主流云服务提供商的数据源集成。
306 2

推荐镜像

更多