消防行业如何借助时序数据库 TDengine 打造高效的数据监控与分析系统

简介: 本篇文章来自“2024,我想和 TDengine 谈谈”征文活动的优秀投稿,深入探讨了如何在消防行业中运用 TDengine 进行业务建模。文章重点介绍了如何通过 TDengine 的超级表、标签设计和高效查询功能,有效管理消防监控系统中的时序数据。作者详细阐述了实时监控、报警系统以及历史数据分析在消防行业中的应用,展示了 TDengine 在数据压缩、保留策略和分布式架构下的强大优势。

小T导读:本篇文章来自“2024,我想和 TDengine 谈谈”征文活动的优秀投稿,深入探讨了如何在消防行业中运用 TDengine 进行业务建模。文章重点介绍了如何通过 TDengine 的超级表、标签设计和高效查询功能,有效管理消防监控系统中的时序数据。作者详细阐述了实时监控、报警系统以及历史数据分析在消防行业中的应用,展示了 TDengine 在数据压缩、保留策略和分布式架构下的强大优势。

在 TDengine 中进行消防行业的业务建模,需要根据消防场景的具体需求,设计高效的数据存储、查询和分析架构。消防行业的业务模型通常涉及大量传感器、报警设备等数据源,需处理设备的实时数据采集、监控和历史数据分析。通过优化数据处理流程,确保系统能高效地管理和分析这些海量的时序数据。

TDengine 是一款专为时序数据设计的数据库,广泛应用于物联网、工业监控、金融监控等场景。这些场景通常涉及大量连续的数据点。以消防系统为例,系统中的各类监控设备(如电气火灾监控探测器、烟雾探测器、温湿度探测器、可燃气体探测器等)定期上传数据,形成典型的时序数据。其数据类型主要包括:

  1. 实时监控数据:消防物联网设备持续上传环境监控数据,如电压、电流、温度、湿度、烟雾浓度和气体浓度等,其中时间戳是数据的核心。
  2. 事件数据:当设备检测到异常情况(如火警、预警、故障、动作或隐患等)时,会上传告警信息,帮助及时响应和处置。
  3. 地理位置数据:设备分布在不同区域、楼宇、楼层,因此需要记录设备的准确地理位置信息。

在 TDengine 中,针对这类数据,我们可以使用超级表进行管理。超级表不仅能优化批量写入,还能提高查询效率,确保大规模时序数据的高效处理。

接下来,我将围绕设备模型的超级表设计、标签(Tags)设计、数据压缩与保留策略等方面,详细解析 TDengine 在消防物联网场景中的应用。

设备模型的超级表设计

消防系统中设备种类繁多,但同类型设备的数据结构高度相似。利用 TDengine 的超级表(Super Table)进行建模,可以为每类设备创建一张超级表,让不同设备共享统一的数据结构,并通过标签(Tags)区分每个设备的个性化信息。
以电气火灾监控探测器场景为例,超级表可进行如下设计:

CREATE STABLE electrical_fire_device (
    ts timestamp, --时间戳
    residual_current float, -- 剩余电流
    A_phase_temperature float, --A相温度
    B_phase_temperature float, --B相温度
    C_phase_temperature float, --C相温度
    N_phase_temperature float, --N相温度
    A_phase_current float, --A相电流
    B_phase_current float, --B相电流
    C_phase_current float, --C相电流
    A_phase_voltage float, --A相电压
    B_phase_voltage float, --B相电压
    C_phase_voltage float --C相电压
) TAGS (
    device_address varchar(32),
    unit_id varchar(32),
    deivce_type_id varchar(32),
    device_id varchar(32),
    building_id varchar(32),
    floor_id varchar(32)
);
AI 代码解读

设计要点如下:

  • ts(时间戳字段): 用于记录每次数据采集的时间。
  • residual_current、A_phase_temperature、A_phase_current、A_phase_voltage 等字段: 存储电气火灾监控探测器上报的重要实时数据,包括剩余电流、相温度、相电流、相电压等。
  • 标签字段: 通过 device_id、building_id、floor_id、location_address 和 unit_id 等标签,精准标识设备位置,同时支持高效的数据查询。

标签设计

消防行业的设备具有清晰的层次结构,包括所属建筑、楼层、单位和区域等信息。这些层次可通过标签进行表示,合理设计标签不仅能精准定位设备数据,还能显著提升查询性能。
标签设计示例:

  • device_id:每个设备的唯一标识符。
  • building_id:设备所在的建筑 ID。
  • floor_id:设备所在的楼层 ID。
  • device_address:设备的具体位置描述。
  • device_type_id:设备类型ID

通过这些标签,我们可以轻松实现条件查询。例如,查询特定建筑或楼层的所有设备数据,或基于设备 ID 精确定位单个设备的数据。

数据压缩与保留策略

消防系统中的监控数据通常需要长期保存,以便进行事故调查和分析。因此,在业务模型设计时需重点考虑数据的压缩与保留策略:

  • 压缩:TDengine 内置高效的时序数据压缩算法,能够大幅减少存储空间,确保海量历史数据的高效存储。
  • 保留策略:针对长期保留的消防数据,可以根据数据优先级设置合理的保留策略。例如,保留最近一年的详细数据,并定期清理超过一年的低优先级数据。
  • 多级存储与对象存储:通过配置参数 dataDir,TDengine 支持集群挂载多块硬盘,实现数据分级存储,将不同时间段的数据存储在不同设备上,实现“热”数据与“冷”数据分离。例如,最新采集且访问频繁的数据可存储在高性能固态硬盘(SSD)上,以满足高效读写需求,而历史数据等访问较少的数据则可存储在成本更低的机械硬盘(HDD)上。此外,TDengine 还支持将时序数据存储到对象存储系统中,并允许对对象存储中的数据执行删除和更新操作,进一步降低存储成本,充分利用各类存储资源。

设置数据保留策略示例如下:

jCREATE DATABASE your_database_name KEEP 365;
ALTER DATABASE your_database_name KEEP 180;
AI 代码解读

实时报警与历史分析

消防行业的业务需求包括实时报警和历史数据分析:
实时报警:当设备检测到火警、预警或故障时,需要实时触发报警系统。借助 TDengine 的实时查询功能,可以对异常数据进行实时监测,并触发相应的报警机制。
历史数据分析:通过历史数据分析,可以实现趋势预测、设备故障排查和消防事故回溯等任务。例如,通过分析特定时间段内温度、烟雾浓度、电流、电压等变化趋势,识别潜在安全隐患。

以设备历史事件表为例,实时查询示例如下:

CREATE
STABLE monitor_event_his (
    ts timestamp, --时间戳
    id varchar(32) primary key,
    event_type int,-- 事件类型(0:火警,1:故障,2:隐患等等)
    message_id varchar(32),-- 消息id
    monitor_flag int,-- 监测项标识
    monitor_item varchar(50),--监测项名称
    monitor_item_value FLOAT,-- 监测项值
    description varchar(50),-- 监测项单位(MPa,m,℃)
    event_id varchar(32)-- 事件id
) TAGS (
    device_address varchar(32),-- 设备地址
    unit_id varchar(32),-- 单位id
    deivce_type_id varchar(32),--设备类型
    device_id varchar(32),-- 设备id
    building_id varchar(32),-- 楼栋id
    floor_id varchar(32)-- 楼层id
);
AI 代码解读

如下是查询最近一分钟内设备上报的隐患:

SELECT *
FROM monitor_event_his
WHERE event_type = 2
  AND ts > NOW - 1m; -- 查询最近
AI 代码解读

再例如,可以通过 interval 按指定的时间窗口对原始数据进行聚合(即降采样),从而在展示趋势线时显著减少前端从数据库拉取的数据量,提高展示效率。
如下是查询某设备最近一周的剩余电流情况,按 10 分钟窗口划分并计算平均值:

select avg(residual_current) as avg_residual_current,first(ts) as ts
from electrical_fire_device
where device_id='20240806094407799068' and ts >= now - 7d
interval (10m)
AI 代码解读

高效批量写入

消防监控设备会生成海量数据,因此需要确保数据写入的高效性。TDengine 支持高效批量写入,可以一次性写入多条数据,减少频繁的单条写入请求,从而大幅提升写入性能。

批量写入示例:

INSERT INTO electrical_fire_device(tbname, ts, residual_current, A_phase_temperature, B_phase_temperature, C_phase_temperature,
                   N_phase_temperature, A_phase_current, B_phase_current, C_phase_current, A_phase_voltage,
                   B_phase_voltage, C_phase_voltage, device_address, unit_id, deivce_type_id, device_id)
VALUES ('20240806094407799068', NOW, 3.6, 30.6, 30.9, 30.7, 30.7, 0.3, 1.5, 2, 235.5, 236.5, 235.7, '强电井内',
        '340000DW1809068949740978176', '23050000', '20240806094407799068'),
       ('20240806094407799068', NOW+1s, 3.7, 30.6, 30.9, 30.7, 30.7, 0.3, 1.5, 2, 235.5, 236.5, 235.7, '强电井内',
        '340000DW1809068949740978176', '23050000', '20240806094407799068')
       ('20240806094407799068', NOW+2s, 3.8, 30.6, 30.9, 30.7, 30.7, 0.3, 1.5, 2, 235.5, 236.5, 235.7, '强电井内',
        '340000DW1809068949740978176', '23050000', '20240806094407799068');-- 批量插入多条设备数据
AI 代码解读

分布式架构与高可用性

消防监控系统对数据的实时性和高可用性要求极高,因此 TDengine 的分布式架构设计尤为重要:

  • 分布式部署:TDengine 支持分布式部署,可将不同区域或建筑的数据分配到不同节点存储,实现数据的水平扩展,满足大规模数据管理需求。
  • 数据副本:通过设置数据副本,确保数据安全,避免因单点故障导致的数据丢失。
  • 高可用性:依托 TDengine 的集群机制,即使部分节点发生故障,系统仍能稳定运行,确保业务连续性。

多维度查询与分析

在消防业务建模中,常常需要通过多维度分析来排查问题或辅助决策。TDengine 的标签功能非常适合支持多维度查询,例如:

  • 查询某建筑的设备历史数据;
  • 按设备 ID 查询特定设备的故障记录;
  • 统计某时间段内所有设备的报警次数。

多维度查询示例如下,以下示例统计某建筑在特定时间段内的平均剩余电流和平均相电流:

SELECT AVG(residual_current), AVG(A_phase_current)
FROM electrical_fire_device
WHERE building_id = 'B001'
  AND ts BETWEEN '2024-09-01' AND '2024-09-10';
AI 代码解读

这种灵活的多维度查询能力,使得问题排查和决策分析更加高效。

结语

消防行业的业务建模需要以传感器数据、实时监控和报警系统为核心。TDengine 凭借强大的时序数据处理能力,通过超级表、标签设计、高效查询与数据压缩机制,为消防行业提供高效的大规模数据管理和分析解决方案。在业务模型设计中,我们应充分发挥 TDengine 的分布式架构、高可用性、批量写入和实时查询功能,确保系统的可靠性、可扩展性和高性能。

更多 TDengine 用户案例移至 https://www.taosdata.com/tdengine-user-cases?utm_source=zimeiti-orther&utm_medium=case-blog&utm_campaign=2025-01-12 查看。如果你也在数字化转型中遇到数据接入复杂、实时性要求高、系统集成难等挑战,进入 https://taosdata.feishu.cn/share/base/form/shrcnUtB1ogP9bwxr9LWRYFKfNb 留下你的需求信息。

目录
打赏
0
0
0
0
93
分享
相关文章
基于ssm的社区物业管理系统,附源码+数据库+论文+任务书
社区物业管理系统采用B/S架构,基于Java语言开发,使用MySQL数据库。系统涵盖个人中心、用户管理、楼盘管理、收费管理、停车登记、报修与投诉管理等功能模块,方便管理员及用户操作。前端采用Vue、HTML、JavaScript等技术,后端使用SSM框架。系统支持远程安装调试,确保顺利运行。提供演示视频和详细文档截图,帮助用户快速上手。
48 17
Rust +时序数据库 TDengine:打造高性能时序数据处理利器
TDengine 是一款专为物联网、车联网、工业互联网等时序数据场景优化设计的开源时序数据库,支持高并发写入、高效查询及流式计算,通过“一个数据采集点一张表”与“超级表”的概念显著提升性能。 Rust 作为一门系统级编程语言,近年来在数据库、嵌入式系统、分布式服务等领域迅速崛起,以其内存安全、高性能著称,与 TDengine 的高效特性天然契合,适合构建高可靠、高性能的数据处理系统。
32 2
百万指标,秒级查询,零宕机——时序数据库 TDengine 在 AIOps 中的硬核实战
本篇文章详细讲述了七云团队在运维平台中如何利用 TDengine 解决海量时序数据存储与查询的实际业务需求。内容涵盖了从数据库选型、方案落地到业务挑战及解决办法的完整过程,特别是分享了升级 TDengine 3.x 时的实战经验,给到有需要的小伙伴参考阅读。
25 1
基于ssm的台球厅管理系统,附源码+数据库+论文
本项目为新锐台球厅管理系统,支持管理员和会员两种角色。管理员可进行会员管理、台球桌管理、订单管理等;会员可查看台球桌、预约、购买商品等。技术框架基于Java,采用B/S架构,前端使用Vue+HTML+JavaScript+CSS+LayUI,后端使用SSM框架,数据库为MySQL。运行环境为Windows,JDK8+MySQL5.7+Tomcat8.5。提供演示视频及详细文档截图。
从 MySQL 到时序数据库 TDengine:Zendure 如何实现高效储能数据管理?
TDengine 助力广州疆海科技有限公司高效完成储能业务的数据分析任务,轻松应对海量功率、电能及输入输出数据的实时统计与分析,并以接近 1 : 20 的数据文件压缩率大幅降低存储成本。此外,taosX 强大的 transform 功能帮助用户完成原始数据的清洗和结构优化,而其零代码迁移能力更实现了历史数据从 TDengine OSS 与 MySQL 到 TDengine 企业版的平滑迁移,全面提升了企业的数据管理效率。本文将详细解读这一实践案例。
24 0
从 MongoDB 到 时序数据库 TDengine,沃太能源实现 18 倍写入性能提升
沃太能源是国内领先储能设备生产厂商,数十万储能终端遍布世界各地。此前使用 MongoDB 存储时序数据,但随着设备测点增加,MongoDB 在存储效率、写入性能、查询性能等方面暴露出短板。经过对比,沃太能源选择了专业时序数据库 TDengine,生产效能显著提升:整体上,数据压缩率超 10 倍、写入性能提升 18 倍,查询在特定场景上也实现了数倍的提升。同时减少了技术架构复杂度,实现了零代码数据接入。本文将对 TDengine 在沃太能源的应用情况进行详解。
22 0
|
3月前
|
从建模到运维:联犀如何完美融入时序数据库 TDengine 实现物联网数据流畅管理
本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品。文章从一个具体的业务场景出发,分析了企业在面对海量时序数据时的挑战,并提出了利用 TDengine 高效处理和存储数据的方法,帮助企业解决在数据采集、存储、分析等方面的痛点。通过这篇文章,作者不仅展示了自己对数据处理技术的理解,还进一步阐释了时序数据库在行业中的潜力与应用价值,为读者提供了很多实际的操作思路和技术选型的参考。
83 1
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
DataphinV4.1大升级:支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
DataphinV4.1大升级:支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
118 3
DataphinV4.1大升级: 支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.1版本升级中,Dataphin 引入了Lindorm等多项新功能,并开启公共云半托管模式,优化代码搜索,为用户提供更加高效、灵活、安全的数据管理和运营环境,提升用户体验,促进企业数据资产的建设和价值挖掘。
1670 3
DataphinV4.1大升级: 支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式

热门文章

最新文章