7-TDengine集成Grafana实现日志数据可视化

简介: 7-TDengine集成Grafana实现日志数据可视化

背景


目前我们已经使用 TDengine 存储了大量的数据,这些数据一般要求以各种方式呈现给用户或者统计后传给上层业务。作为一款时序数据库,非常适合存储结构化的日志数据,类似于 InfluxDBTDengine 可以方便地与 Grafana 进行集成,整个过程无需任何代码开发, TDengine 中数据表的内容可以在仪表盘上进行可视化展现。这次我们先以 TDengine 自行记录的日志以及官方提供的 tdengine-grafana.json 数据屏来演示。


Note: TDengine 2.1.2.0 服务运行在 CentOS7 虚拟机上, Grafana 6.2.5 安装在 Windows 操作系统(Win10)上。


先看下效果


image.png


TDengine的Grafana插件


  • 添加插件


TDengineGrafana 插件 /usr/local/taos/connector/grafanaplugin 目录拷贝到 D:\Applications\grafana-6.2.5\data\plugins\tdengine 目录

image.png

  • 启动Grafana

双击 D:\Applications\grafana-6.2.5\bin\grafana-server.exe


配置使用TDengine数据源


image.png

image.png


导入Dashboard


导入插件目录下的 tdengine-grafana.jsonD:\Applications\grafana-6.2.5\data\plugins\tdengine\dashboard\tdengine-grafana.json

image.png

image.png

image.png


TDengine的日志在Grafana中展示时用到的SQL


-- req_select
select sum(req_select) from log.dn where ts >= now-1h and ts < now interval(1m)
-- req_insert
select sum(req_insert) from log.dn where ts >= now-1h and ts < now interval(1m)
-- mem_taosd
select  max(mem_taosd)  from log.dn where ts >= now -10m and ts < now
-- mem_system
select  max(mem_system)  from log.dn where ts >= now -10h and ts < now
-- band_speed
select avg(band_speed)  from log.dn where ts >= now-1h and ts < now interval(1m)
-- cpu_system11
select  avg(cpu_system) from log.dn where ts >= now-1h and ts < now  interval(1s)
-- cpu_taosd
select  avg(cpu_taosd) from log.dn where ts >= now-1h and ts < now  interval(1s)
-- avg_disk_used
select avg(disk_used)  disk_used from log.dn where ts >= '2021-07-29T01:01:46.744Z' and ts < '2021-07-29T02:01:46.744Z' interval(1s) group by fqdn


遇到的问题


在上一步的 导入Dashboard 中,浏览器报错:

image.png

解决方法:通过源码仓库的Issues查到了类似的问题,使用更新后的 tdengine-grafana.json 导入即可。


github.com/taosdata/TD…

github.com/taosdata/gr…


目录
相关文章
|
4月前
|
SQL 数据可视化 关系型数据库
MCP与PolarDB集成技术分析:降低SQL门槛与简化数据可视化流程的机制解析
阿里云PolarDB与MCP协议融合,打造“自然语言即分析”的新范式。通过云原生数据库与标准化AI接口协同,实现零代码、分钟级从数据到可视化洞察,打破技术壁垒,提升分析效率99%,推动企业数据能力普惠化。
388 3
|
10月前
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
773 90
|
11月前
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
4377 69
Grafana Loki,轻量级日志系统
|
10月前
|
SQL druid Oracle
【YashanDB知识库】yasdb jdbc驱动集成druid连接池,业务(java)日志中有token IDENTIFIER start异常
客户Java日志中出现异常,影响Druid的merge SQL功能(将SQL字面量替换为绑定变量以统计性能),但不影响正常业务流程。原因是Druid在merge SQL时传入null作为dbType,导致无法解析递归查询中的`start`关键字。
|
存储 监控 Serverless
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
255 0
|
存储 安全 Java
Spring Boot 3 集成Spring AOP实现系统日志记录
本文介绍了如何在Spring Boot 3中集成Spring AOP实现系统日志记录功能。通过定义`SysLog`注解和配置相应的AOP切面,可以在方法执行前后自动记录日志信息,包括操作的开始时间、结束时间、请求参数、返回结果、异常信息等,并将这些信息保存到数据库中。此外,还使用了`ThreadLocal`变量来存储每个线程独立的日志数据,确保线程安全。文中还展示了项目实战中的部分代码片段,以及基于Spring Boot 3 + Vue 3构建的快速开发框架的简介与内置功能列表。此框架结合了当前主流技术栈,提供了用户管理、权限控制、接口文档自动生成等多项实用特性。
970 8
|
数据可视化 数据挖掘 开发者
Pandas数据可视化:matplotlib集成(df)
Pandas 是 Python 中强大的数据分析库,Matplotlib 是常用的绘图工具。两者结合可方便地进行数据可视化,帮助理解数据特征和趋势。本文从基础介绍如何在 Pandas 中集成 Matplotlib 绘制图表,如折线图、柱状图等,并深入探讨常见问题及解决方案,包括图表显示不完整、乱码、比例不合适、多子图布局混乱、动态更新图表等问题,提供实用技巧和代码示例。掌握这些方法后,你将能更高效地处理数据可视化任务。
426 9
|
Java 程序员 API
Android|集成 slf4j + logback 作为日志框架
做个简单改造,统一 Android APP 和 Java 后端项目打印日志的体验。
764 1
|
存储 JSON Ubuntu
时序数据库 TDengine 支持集成开源的物联网平台 ThingsBoard
本文介绍了如何结合 Thingsboard 和 TDengine 实现设备管理和数据存储。Thingsboard 中的“设备配置”与 TDengine 中的超级表相对应,每个设备对应一个子表。通过创建设备配置和设备,实现数据的自动存储和管理。具体操作包括创建设备配置、添加设备、写入数据,并展示了车辆实时定位追踪和车队维护预警两个应用场景。
667 3
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
276 1

推荐镜像

更多