高效处理风电时序数据,明阳集团的 TDengine 3.0 应用实录

简介: 作为全国 500 强企业,明阳集团在风电行业拥有领先实力。目前全球超过 800 个项目采用明阳各种型号风电机组,安装数量超过 15000 台。每台风电机组配备数百至上千个监测点,生成的时序数据每秒一条,每天产生亿级以上的数据量。这些数据需要实时或定期集中存储,以支持风机的集中监控和数据分析等业务应用,实现数据转化为价值的目标。为了更有效地进行时序数据管理,明阳集团选择采用 TDengine,本文对部署情况及应用效果进行了分析。

作为全国 500 强企业,明阳集团在风电行业拥有领先实力。目前全球超过 800 个项目采用明阳各种型号风电机组,安装数量超过 15000 台。每台风电机组配备数百至上千个监测点,生成的时序数据每秒一条,每天产生亿级以上的数据量。这些数据需要实时或定期集中存储,以支持风机的集中监控和数据分析等业务应用,实现数据转化为价值的目标。为了更有效地进行时序数据管理,明阳集团选择采用 TDengine,本文对部署情况及应用效果进行了分析。
1.png

应用情况

针对项目现场风机的数据采集工作,我们采取了两种方案,一种方案是通过网络实时传输到大数据中心,写入 TDengine。另一种方案则是按照一定的时间周期,接到数据文件拷贝后,再写入 TDengine 集群。
我们使用了 6 台 24GB 内存 4 核 CPU 10T 硬盘的服务器搭建了 TDengine 3.0 的单副本集群。目前已经接入了 10000+ 台风电机,建库 400 余个。保存数据量总计 40+ 亿行,每行平均测点(列数)700+,磁盘占用 24TB,粗略估算,压缩比达到 10% 以内。
2.png
风电机作为一种利用风能来产生电力的大型设备。需要监控的指标十分之多。因此,在建模环节就有不小的难度。以下是一个 describe 超级表的输出,达到了 884 列。
宽列表和常规的窄列表在使用上有很多的差别,很多参数配置都是不一样的。在此基础之上,我们要检测风电机设备的各个点的最新状态。
3.png
我们接触 3.0 的时间比较早,从 2022 年其刚刚发布时就在测试了。因此比较完整地见证了 TDengine 对于宽列表场各个方面的优化。以 last 函数的缓存为例(统计表/超级表中某列的值最后写入的非 NULL 值。),对于“宽列表 + 很多列的值以 NULL 为主”的场景,TDengine 的初次 last 查询速度从分钟级别迅速调整优化到了毫秒级。
举例如下 SQL:分组查询 + last/last_row + union all 多个表的查询。
4.png
5.png
在“明阳集团能源大数据应用系统”中,TDengine 起到了关键作用,实现了数据的高效存储与处理。通过底层的数据分片分区策略,TDengine 能够灵活地动态扩展资源,避免资源瓶颈问题。其高速的查询能力帮助我们实现了风机设备的实时监测与预测,使我们能够及时发现异常和故障,并采取相应的维修或调整策略,结合数据进行其他业务应用也变得更加便捷。
6.png

写在最后

作为 TDengine 2.0 时代的资深用户,我们已经使用了这款产品长达 3 年之久。在这段时间里,我们见证了 TDengine 的巨大变革——从一款开源的时序数据库,演变成为专为物联网、工业互联网等场景优化设计的大数据平台。官方团队的开发效率令人惊叹。以我们的宽列表场景为例,仅经过 2-3 个版本的迭代,TDengine 就彻底解决了我们所遇到的各种问题。自 3.0 版本发布以来,TDengine 对各种场景的优化大幅提升,这种变化肉眼可见。未来我们将继续深入挖掘 TDengine 的潜力,在风电领域探索更多可能性。

公司简介:
明阳集团始创于 1993 年,于 2006 年进军风电行业,创立明阳智慧能源集团股份公司(股票代码 601615,简称“明阳智能”),是全球新能源装备行业的领军企业和智慧能源整体方案提供商。明阳集团始终坚持创新、坚守实业不动摇,致力于能源的绿色、普惠和智慧化,专注新能源高端装备研发与制造。业务涵盖风能、太阳能、海洋能源、氢能、储能、智能电气和空间能源等清洁能源开发运营、装备研制与工程技术服务领域。

目录
相关文章
|
3月前
|
数据采集 消息中间件 存储
实时数据处理的终极武器:Databricks与Confluent联手打造数据采集与分析的全新篇章!
【9月更文挑战第3天】本文介绍如何结合Databricks与Confluent实现高效实时数据处理。Databricks基于Apache Spark提供简便的大数据处理方式,Confluent则以Kafka为核心,助力实时数据传输。文章详细阐述了利用Kafka进行数据采集,通过Delta Lake存储并导入数据,最终在Databricks上完成数据分析的全流程,展示了一套完整的实时数据处理方案。
75 3
|
4月前
|
SQL 存储 Cloud Native
揭秘TDengine:这个数据库如何以光速处理时间序列数据,颠覆你的世界观!
【8月更文挑战第7天】随着物联网的发展,数据生成呈爆炸式增长,催生了如TDengine这样的高性能时序数据库。TDengine采用优化的列式存储和标签索引,实现高速写入与高效压缩,减少存储空间的同时保持高性能。内置丰富的分析函数支持复杂的数据聚合操作,并通过数据复制保障高可靠性。其SQL接口易于使用,分布式架构便于扩展,且支持多种云环境部署,成为处理物联网、车联网等场景下时间序列数据的理想选择。
144 0
|
6月前
|
存储 运维 物联网
TDengine 助力中电启明星处理高复杂性和大数据量时序数据
智能电网和可再生能源推动电力系统数据爆炸式增长,TDengine 因其高效处理时序数据的能力,成为中电启明星信息系统深化应用项目的关键技术。该合作彰显 TDengine 在电力行业的影响力,已应用于多家电力企业,涉及能源大数据、风电运维、智慧能源等多个领域。中电启明星,作为国网信息通信股份的子公司,利用 TDengine 实现了数据管理和业务优化。TDengine,一款高性能时序数据库,为物联网和工业互联网提供一站式解决方案,助力行业数字化转型。
70 0
|
存储 人工智能 运维
QCon大会精彩分享:数据湖、可观测、自动驾驶训练,阿里云存储独家技术详解与案例实践!
QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。
1106 2
QCon大会精彩分享:数据湖、可观测、自动驾驶训练,阿里云存储独家技术详解与案例实践!
|
数据采集 存储 算法
数据仓库之数据质量建设(深度好文)(一)
数仓建设真正的难点不在于数仓设计,而在于后续业务发展起来,业务线变的庞大之后的数据治理,而数据治理的范围非常广,包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中,大家想下最重要的治理是什么?当然是数据质量治理,因为数据质量是数据分析结论有效性和准确性的基础,也是这一切的前提。所以如何保障数据质量,确保数据可用性是数据仓库建设中不容忽视的环节。
633 0
数据仓库之数据质量建设(深度好文)(一)
|
数据采集 分布式计算 监控
数据仓库之数据质量建设(深度好文)(二)
数仓建设真正的难点不在于数仓设计,而在于后续业务发展起来,业务线变的庞大之后的数据治理,而数据治理的范围非常广,包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中,大家想下最重要的治理是什么?当然是数据质量治理,因为数据质量是数据分析结论有效性和准确性的基础,也是这一切的前提。所以如何保障数据质量,确保数据可用性是数据仓库建设中不容忽视的环节。
387 0
数据仓库之数据质量建设(深度好文)(二)
|
存储 消息中间件 SQL
数仓建设保姆级教程,离线和实时一网打尽(理论+实战)(五)
数仓建设保姆级教程,离线和实时一网打尽(理论+实战)
416 0
|
存储 数据采集 Oracle
数仓建设保姆级教程,离线和实时一网打尽(理论+实战)(一)
数仓建设保姆级教程,离线和实时一网打尽(理论+实战)
474 0
|
存储 运维 数据可视化
突破数据分析瓶颈,寻因生物单细胞测序数据分析迈入云时代
i4p持久内存实例+Memory Machine大内存虚拟化软件,发挥持久内存的全部性能。
突破数据分析瓶颈,寻因生物单细胞测序数据分析迈入云时代
|
机器学习/深度学习 弹性计算 监控
【云栖号案例 | 制造】协鑫光伏上云 为提供企业稳定高效的大数据存储、分析能力
企业希望在算法模型、监控报警、BI展现有突破。上云后保障全量数据批量上云、对全量参数的分析提出待分析的参数、实现异常情况报警及良品率的预测。
【云栖号案例 | 制造】协鑫光伏上云 为提供企业稳定高效的大数据存储、分析能力