云原生之运维监控实践:使用 taosKeeper 与 TDinsight 实现对 时序数据库TDengine 服务的监测告警

本文涉及的产品
可观测监控 Prometheus 版,每月50GB免费额度
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 在数字化转型的过程中,监控与告警功能的优化对保障系统的稳定运行至关重要。本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品之一,详细介绍了如何利用 TDengine、taosKeeper 和 TDinsight 实现对 TDengine 服务的状态监控与告警功能。作者通过容器化安装 TDengine 和 Grafana,演示了如何配置 Grafana 数据源、导入 TDinsight 仪表板、以及如何设置告警规则和通知策略。欢迎大家阅读。

小T导读:在数字化转型的过程中,监控与告警功能的优化对保障系统的稳定运行至关重要。本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品之一,详细介绍了如何利用 TDengine、taosKeeper 和 TDinsight 实现对 TDengine 服务的状态监控与告警功能。作者通过容器化安装 TDengine 和 Grafana,演示了如何配置 Grafana 数据源、导入 TDinsight 仪表板、以及如何设置告警规则和通知策略。欢迎大家阅读。

如果没有监控,那么最好的情况是没有问题发生,最糟糕的情况则是问题发生了但没有被发现。——《Prometheus监控实战》

在今年的 10 月 10 日我收到了 TDengine 官方微信公众号的一条推送,摘要如下:
今天我们非常高兴地宣布,TDengine 3.3.3.0 版本正式发布。本次更新引入了多项重要功能和性能优化,旨在为用户提供更高效、更灵活的数据解决方案。在 3.3.3.0 版本中,我们着重优化了监控和告警功能,新增了多种常见的 MySQL 函数,并增强了对 MongoDB 数据源的支持。这些改进将为用户在物联网和大数据应用中提供更强大的功能,助力大家在数字化转型过程中实现更大的成功。

时序数据库作为软件项目的核心基础设施,其运行状态的实时监控至关重要。今天,我们将体验一下经过重优化的监控和告警功能。早在 TDengine 2.1.2.0 发布时,就可以将 TDengine 的日志数据表内容可视化展示在 Grafana 仪表盘上;随着官方不断增强监控能力,TDinsight 应运而生,成为与 Grafana 深度集成的可视化工具。这篇文章将演示如何通过容器化安装 TDengine 与 TDinsight 监控大盘,并结合 taosKeeper 和 TDinsight 实现对 TDengine 服务状态的监测,以及如何通过钉钉推送告警消息。

虚机资源

在这次实践中,我共用到了 2 台虚机,1 台作为应用服务节点,1 台作为运维监控节点。
33.jpg
基本选用当前最新版本,即将安装的 Grafana 及组件版本信息如下:

  • Grafana 版本:11.2.0
  • TDengine 版本:3.3.3.0(自带了 taosAdapter 与 taosKeeper)

    系统环境

[root@ops ~]# uname -a
Linux ops 5.10.0-182.0.0.95.oe2203sp3.x86_64 #1 SMP Sat Dec 30 13:10:36 CST 2023 x86_64 x86_64 x86_64 GNU/Linux
[root@ops ~]# cat /proc/version
Linux version 5.10.0-182.0.0.95.oe2203sp3.x86_64 (root@dc-64g.compass-ci) (gcc_old (GCC) 10.3.1, GNU ld (GNU Binutils) 2.37) #1 SMP Sat Dec 30 13:10:36 CST 2023

svc 节点:使用 Docker 安装 TDengine 3.3.3.0

通过 Docker 安装 TDengine 3.3.3.0,创建名为 tdengine 的容器,并挂载数据与日志卷目录。

[root@svc opt]# docker pull tdengine/tdengine:3.3.3.0

[root@svc opt]# docker run -d --name tdengine -v /opt/tdengine/data:/var/lib/taos \
  -v /opt/tdengine/log:/var/log/taos \
  -p 6030:6030 -p 6041:6041 -p 6043-6060:6043-6060 -p 6043-6060:6043-6060/udp tdengine/tdengine:3.3.3.0
0b9e36feac54d787114e5eed8b5dc7fa132dcd29d736b7489733194a27f28cab
  • 使用客户端工具验证 TDengine 安装效果

1.PNG

  • 通过浏览器验证 metrics 端点
    在浏览器中访问 http://192.168.44.168:6043/metrics,即可查看 TDengine 的监控指标。这些指标默认会被写入 TDengine 的 log 数据库,Grafana 则通过读取该数据库中的数据表来实现监控数据的可视化展示。

注: taosKeeper 是 TDengine 3.0 版本的监控指标导出工具,通过简单配置即可获取 TDengine 的运行状态(这些指标可以导入到 Prometheus,本文直接使用 TDengine 存储)。

ops 节点:使用 Docker Compose 安装 Grafana

参考文章:《云原生之运维监控实践-OpenEuler22.03SP3上安装Prometheus与Grafana实现主机状态监测》https://blog.csdn.net/u013810234/article/details/142589059?spm=1001.2014.3001.5501
在安装 Grafana 的主机上,首先需要安装 TDinsight,之后才能在 Grafana 数据源中添加 TDengine 数据源。

# 编辑TDinsight下载脚本
[root@ops monitoring]# vi tdinsight-plugin.sh
get_latest_release() {
  curl --silent "https://api.github.com/repos/taosdata/grafanaplugin/releases/latest" |
    grep '"tag_name":' |
    sed -E 's/.*"v([^"]+)".*/\1/'
}
TDENGINE_PLUGIN_VERSION=$(get_latest_release)
grafana-cli \
  --pluginUrl https://github.com/taosdata/grafanaplugin/releases/download/v$TDENGINE_PLUGIN_VERSION/tdengine-datasource-$TDENGINE_PLUGIN_VERSION.zip \
  plugins install tdengine-datasource

# 复制下载脚本到Grafana容器中
[root@ops monitoring]# docker cp tdinsight-plugin.sh ops-grafana:/usr/share/grafana
                                             Successfully copied 2.05kB to ops-grafana:/usr/share/grafana

# 下载并安装TDinsight插件
[root@ops monitoring]# docker exec ops-grafana bash tdinsight-plugin.sh 
Deprecation warning: The standalone 'grafana-cli' program is deprecated and will be removed in the future. Please update all uses of 'grafana-cli' to 'grafana cli'
✔ Downloaded and extracted tdengine-datasource v3.6.0 zip successfully to /var/lib/grafana/plugins/tdengine-datasource

Please restart Grafana after installing or removing plugins. Refer to Grafana documentation for instructions if necessary.

# 重启Grafana容器
[root@ops monitoring]# docker restart ops-grafana
ops-grafana

TDinsight 监控实战

通过浏览器访问 http://192.168.44.169:3000 进入 Grafana。
配置数据源:

  1. 在左侧菜单中点击 “Add new connection”。
  2. 选择或搜索 “Data Sources”。
  3. 点击 “Add data source”,然后选择 “TDengine Datasource”。
  4. 在 “HTTP” 部分,输入 TDengine 的地址,例如:http://192.168.44.168:6041。
  5. 点击 “Save & Test”,确认连接成功。
    2.png
    3.png

导入仪表板

  • 查看现成的仪表板
    Grafana 官方仪表板目录:https://grafana.com/grafana/dashboards/,在这个页面上,用户可以找到并共享各种现成的 Grafana 仪表板,涵盖系统性能、应用监控、网络流量等多种监控需求。根据需求,用户可以搜索并导入适合的仪表板,提升监控效率和可视化效果。比如,搜索 “TDengine” 后,可以找到 TDinsight for 3.x 仪表板,点击查看详细 UI 效果,并复制仪表板 ID(如:18180)。
    导入现成的仪表板:
  1. 在 Grafana 右侧菜单中点击 “New” 按钮,选择 “Import”。
  2. 在输入框中,直接输入仪表板 ID【常用的主机监控仪表板 ID 是 18180(TDinsight for 3.x)】,或者上传 JSON 文件。
  3. 点击 “Load”,然后选择已配置好的数据源。
  4. 点击 “Import” 完成导入。

4.png

5.png

TDinsight 监控效果

TDinsight 是一款结合监控数据库和 Grafana 的 TDengine 监控解决方案。它可以实时可视化集群状态、节点信息、插入与查询请求、资源使用情况等关键指标,同时支持对 vnode、dnode 和 mnode 节点的状态进行异常告警。

6.png

7.png

TDinsight 告警实战

一个好警报的关键是能够在正确的时间、以正确的理由和正确的速度发送,并在其中放入有用的信息。
告警原理说明:

  1. Grafana 定期查询数据源并评估告警规则中定义的条件。
  2. 当条件被触发时,则会触发告警实例。
  3. 生成的告警实例根据标签匹配规则,路由至相应的通知策略。
  4. 通知会发送到策略中指定的联系点。

8.png

配置告警规则

这里我们使用 TDinsight 默认提供的告警规则。要建立一个出色的通知系统,我们需要考虑以下基础信息,而基于 Grafana 的 TDinsight 监控方案做到了:

  • 哪些问题需要通知;
  • 谁需要被告知;
  • 如何告知他们;
  • 多久告知他们一次。

9.png

配置推送方式

TDengine 支持多种推送方式,这里选择钉钉推送。首先,从钉钉中获取机器人的 access_token,然后将推送方式命名为 DingDingPush。在配置中,将消息类型(Message Type)更改为 ActionCard。
10.png
11.png

配置通知策略

默认的通知策略是邮件方式,这里直接调整为我们的 DingDingPush 。
12.png

模拟压力告警

进入 TDengine 容器内部,执行 taosBenchmark 命令。为了触发告警,我们在 test 数据库中创建了 10000 张表,每张表插入 200 万条数据。由于容器磁盘空间的限制,这将导致磁盘告警的触发,进而导致 DNodes 和 VNodes 停止工作,从而触发相应的告警。

[root@ops monitoring]# docker exec -it tdengine /bin/bash
root@9118ddbfa74b:~# taosBenchmark -I stmt -n 2000000 -t 10000

在 TDinsight 的仪表板上可以看到磁盘使用率已到达 95%,根据报警规则设置,即将触发告警。

13.png

14.png

告警触发推送与告警解除推送

当 taosBenchmark 写入数据逐渐将磁盘空间耗尽时,会触发告警,进而会通过我们配置的告警方式和策略进行推送,本文中我们将通过钉钉接收到推送消息:

15.png
当我在 taos 命令行中执行 drop database test; 删除 test 数据库后,TDengine 服务恢复正常。经过一段时间(一个告警监测周期),钉钉上会自动收到各类告警解除的通知。

[root@localhost monitoring]# docker exec -it tdengine /bin/bash
root@9118ddbfa74b:~# taos
Welcome to the TDengine Command Line Interface, Client Version:3.3.3.0
Copyright (c) 2023 by TDengine, all rights reserved.
  *********************************  Tab Completion  *************************************
  *   The TDengine CLI supports tab completion for a variety of items,                   *
  *   including database names, table names, function names and keywords.                *
  *   The full list of shortcut keys is as follows:                                      *
  *    [ TAB ]        ......  complete the current word                                  *
  *                   ......  if used on a blank line, display all supported commands    *
  *    [ Ctrl + A ]   ......  move cursor to the st[A]rt of the line                     *
  *    [ Ctrl + E ]   ......  move cursor to the [E]nd of the line                       *
  *    [ Ctrl + W ]   ......  move cursor to the middle of the line                      *
  *    [ Ctrl + L ]   ......  clear the entire screen                                    *
  *    [ Ctrl + K ]   ......  clear the screen after the cursor                          *
  *    [ Ctrl + U ]   ......  clear the screen before the cursor                         *
  ****************************************************************************************
Server is TDengine Community Edition, ver:3.3.3.0 and will never expire.

taos> drop database test;
Drop OK, 0 row(s) affected (1.476353s)

16.png
注意:在 Prometheus 和 AlertManager 的生态中,alertstate 字段表示报警的状态,可能有以下几种取值:

  • Firing:表示报警已触发。当报警规则条件满足时,报警状态会变为 Firing,表示触发了报警。通常情况下,报警会发送给相关的接收器或通知渠道,以便进行处理。
  • Resolved:表示报警已解决。当报警条件不再满足时,报警状态会变为 Resolved,表示报警已经解决。这意味着报警规则所监控的指标已经恢复到正常状态,不再需要进一步的处理。
  • Pending:表示报警处于等待状态。当报警规则的条件满足时,报警状态会从 Firing 变为 Pending,表示报警处于等待状态。在报警状态从 Firing 到 Resolved 之间的过渡期间,报警可能会处于 Pending 状态,这通常是因为报警规则定义了一些延迟或滞后的条件。

    结语

    If you can’t measure it, you can’t improve it!
    没有度量就没有改进。本文介绍了如何利用 TDengine、taosKeeper 和 TDinsight 实现对 TDengine 服务的状态监测与告警功能,详细记录了在两台虚拟机上进行的安装过程,包括在服务节点上使用 Docker 安装最新版的 TDengine 3.3.3.0,以及在监控节点上配置 Grafana 和 TDinsight 插件。此外,文章还展示了如何配置 Grafana 数据源、导入 TDinsight 仪表板、设置告警规则和通知策略。最后,通过模拟压力测试,演示了如何触发磁盘空间不足的告警,并通过钉钉接收告警推送与解除通知。

本实践充分展示了 TDengine 生态系统在监控和告警方面的强大功能,为数据库管理员和运维工程师提供了高效、可靠的监控解决方案。

Reference
https://github.com/taosdata/TDengine/releases/tag/ver-3.3.3.0
https://github.com/taosdata/TDengine/releases/tag/ver-3.3.3.0
https://grafana.com/grafana/dashboards/18180-tdinsight-for-3-x/
https://docs.taosdata.com/reference/components/taoskeeper/

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
目录
相关文章
|
1月前
|
人工智能 运维 负载均衡
智能运维新时代:AI在云资源管理中的应用与实践
智能运维新时代:AI在云资源管理中的应用与实践
166 23
|
27天前
|
人工智能 运维 Linux
AI驱动的操作系统服务体验:大模型时代的运维革新
AI驱动的操作系统服务体验:大模型时代的运维革新
35 5
|
1月前
|
Kubernetes Java 持续交付
小团队 CI/CD 实践:无需运维,Java Web应用的自动化部署
本文介绍如何使用GitHub Actions和阿里云Kubernetes(ACK)实现Java Web应用的自动化部署。通过CI/CD流程,开发人员无需手动处理复杂的运维任务,从而提高效率并减少错误。文中详细讲解了Docker与Kubernetes的概念,并演示了从创建Kubernetes集群、配置容器镜像服务到设置GitHub仓库Secrets及编写GitHub Actions工作流的具体步骤。最终实现了代码提交后自动构建、推送镜像并部署到Kubernetes集群的功能。整个过程不仅简化了部署流程,还确保了应用在不同环境中的稳定运行。
66 9
|
1月前
|
存储 弹性计算 运维
云端问道 7 期实践教学-使用操作系统智能助手 OS Copilot 轻松运维与编程
使用操作系统智能助手 OS Copilot 轻松运维与编程
60 14
|
2月前
|
存储 人工智能 调度
容器服务:智算时代云原生操作系统及月之暗面Kimi、深势科技实践分享
容器技术已经发展成为云计算操作系统的关键组成部分,向下高效调度多样化异构算力,向上提供统一编程接口,支持多样化工作负载。阿里云容器服务在2024年巴黎奥运会中提供了稳定高效的云上支持,实现了子弹时间特效等创新应用。此外,容器技术还带来了弹性、普惠的计算能力升级,如每分钟创建1万Pod和秒级CPU资源热变配,以及针对大数据与AI应用的弹性临时盘和跨可用区云盘等高性能存储解决方案。智能运维方面,推出了即时弹性节点池、智能应用弹性策略和可信赖集群托管运维等功能,进一步简化了集群管理和优化了资源利用率。
|
2月前
|
SQL 存储 运维
从建模到运维:联犀如何完美融入时序数据库 TDengine 实现物联网数据流畅管理
本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品。文章从一个具体的业务场景出发,分析了企业在面对海量时序数据时的挑战,并提出了利用 TDengine 高效处理和存储数据的方法,帮助企业解决在数据采集、存储、分析等方面的痛点。通过这篇文章,作者不仅展示了自己对数据处理技术的理解,还进一步阐释了时序数据库在行业中的潜力与应用价值,为读者提供了很多实际的操作思路和技术选型的参考。
53 1
|
21天前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决
|
7天前
|
关系型数据库 MySQL 数据库
Docker Compose V2 安装常用数据库MySQL+Mongo
以上内容涵盖了使用 Docker Compose 安装和管理 MySQL 和 MongoDB 的详细步骤,希望对您有所帮助。
76 42
|
25天前
|
缓存 关系型数据库 MySQL
【深入了解MySQL】优化查询性能与数据库设计的深度总结
本文详细介绍了MySQL查询优化和数据库设计技巧,涵盖基础优化、高级技巧及性能监控。
193 0
|
2月前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
72 3

热门文章

最新文章