高效处理风电时序数据,明阳集团的 TDengine 3.0 应用实录

简介: 作为全国 500 强企业,明阳集团在风电行业拥有领先实力。目前全球超过 800 个项目采用明阳各种型号风电机组,安装数量超过 15000 台。每台风电机组配备数百至上千个监测点,生成的时序数据每秒一条,每天产生亿级以上的数据量。这些数据需要实时或定期集中存储,以支持风机的集中监控和数据分析等业务应用,实现数据转化为价值的目标。为了更有效地进行时序数据管理,明阳集团选择采用 TDengine,本文对部署情况及应用效果进行了分析。

作为全国 500 强企业,明阳集团在风电行业拥有领先实力。目前全球超过 800 个项目采用明阳各种型号风电机组,安装数量超过 15000 台。每台风电机组配备数百至上千个监测点,生成的时序数据每秒一条,每天产生亿级以上的数据量。这些数据需要实时或定期集中存储,以支持风机的集中监控和数据分析等业务应用,实现数据转化为价值的目标。为了更有效地进行时序数据管理,明阳集团选择采用 TDengine,本文对部署情况及应用效果进行了分析。
1.png

应用情况

针对项目现场风机的数据采集工作,我们采取了两种方案,一种方案是通过网络实时传输到大数据中心,写入 TDengine。另一种方案则是按照一定的时间周期,接到数据文件拷贝后,再写入 TDengine 集群。
我们使用了 6 台 24GB 内存 4 核 CPU 10T 硬盘的服务器搭建了 TDengine 3.0 的单副本集群。目前已经接入了 10000+ 台风电机,建库 400 余个。保存数据量总计 40+ 亿行,每行平均测点(列数)700+,磁盘占用 24TB,粗略估算,压缩比达到 10% 以内。
2.png
风电机作为一种利用风能来产生电力的大型设备。需要监控的指标十分之多。因此,在建模环节就有不小的难度。以下是一个 describe 超级表的输出,达到了 884 列。
宽列表和常规的窄列表在使用上有很多的差别,很多参数配置都是不一样的。在此基础之上,我们要检测风电机设备的各个点的最新状态。
3.png
我们接触 3.0 的时间比较早,从 2022 年其刚刚发布时就在测试了。因此比较完整地见证了 TDengine 对于宽列表场各个方面的优化。以 last 函数的缓存为例(统计表/超级表中某列的值最后写入的非 NULL 值。),对于“宽列表 + 很多列的值以 NULL 为主”的场景,TDengine 的初次 last 查询速度从分钟级别迅速调整优化到了毫秒级。
举例如下 SQL:分组查询 + last/last_row + union all 多个表的查询。
4.png
5.png
在“明阳集团能源大数据应用系统”中,TDengine 起到了关键作用,实现了数据的高效存储与处理。通过底层的数据分片分区策略,TDengine 能够灵活地动态扩展资源,避免资源瓶颈问题。其高速的查询能力帮助我们实现了风机设备的实时监测与预测,使我们能够及时发现异常和故障,并采取相应的维修或调整策略,结合数据进行其他业务应用也变得更加便捷。
6.png

写在最后

作为 TDengine 2.0 时代的资深用户,我们已经使用了这款产品长达 3 年之久。在这段时间里,我们见证了 TDengine 的巨大变革——从一款开源的时序数据库,演变成为专为物联网、工业互联网等场景优化设计的大数据平台。官方团队的开发效率令人惊叹。以我们的宽列表场景为例,仅经过 2-3 个版本的迭代,TDengine 就彻底解决了我们所遇到的各种问题。自 3.0 版本发布以来,TDengine 对各种场景的优化大幅提升,这种变化肉眼可见。未来我们将继续深入挖掘 TDengine 的潜力,在风电领域探索更多可能性。

公司简介:
明阳集团始创于 1993 年,于 2006 年进军风电行业,创立明阳智慧能源集团股份公司(股票代码 601615,简称“明阳智能”),是全球新能源装备行业的领军企业和智慧能源整体方案提供商。明阳集团始终坚持创新、坚守实业不动摇,致力于能源的绿色、普惠和智慧化,专注新能源高端装备研发与制造。业务涵盖风能、太阳能、海洋能源、氢能、储能、智能电气和空间能源等清洁能源开发运营、装备研制与工程技术服务领域。

目录
相关文章
|
消息中间件 监控 Java
RocketMQ 同步发送、异步发送和单向发送,如何选择?
本文详细分析了 RocketMQ 中同步发送、异步发送和单向发送三种消息发送方式的原理、优缺点及适用场景。同步发送可靠性高但延迟较大,适合订单系统等场景;异步发送非阻塞且延迟低,适用于实时数据处理等场景;单向发送高效但可靠性低,适用于日志收集等场景。文章还提供了示例代码和核心源码分析,帮助读者更好地理解每种发送方式的特点。
2320 4
|
移动开发 算法 调度
【贪心算法】一文让你学会“贪心”(贪心算法详解及经典案例)
贪心算法是一种非常常见的算法,它的简单和高效性使其在实际应用中被广泛使用。 贪心算法的核心思想是在每一步都采取当前状态下最优的选择,而不考虑未来可能产生的影响。虽然贪心算法不能保证总是得到最优解,但在很多情况下,它可以获得很好的结果。 本篇文章将介绍贪心算法的基本概念和一些经典应用,以及如何通过贪心算法来解决一些实际问题。希望通过本文的阅读,读者可以对贪心算法有更加深刻的理解,并能够在实际问题中应用贪心算法来得到更好的解决方案。 让我们暴打贪心算法吧!
6639 0
|
机器学习/深度学习 人工智能 算法
【PyTorch深度强化学习】TD3算法(双延迟-确定策略梯度算法)的讲解及实战(超详细 附源码)
【PyTorch深度强化学习】TD3算法(双延迟-确定策略梯度算法)的讲解及实战(超详细 附源码)
3793 1
|
8月前
|
运维 监控 安全
VMware NSX 9.0 正式版发布 - 下一代网络安全虚拟化平台
VMware NSX 9.0 正式版发布 - 下一代网络安全虚拟化平台
342 3
VMware NSX 9.0 正式版发布 - 下一代网络安全虚拟化平台
|
8月前
|
存储 固态存储 Linux
VMware ESXi 9.0 正式版发布下载 - 领先的裸机 Hypervisor
VMware ESXi 9.0 正式版发布下载 - 领先的裸机 Hypervisor
2029 1
VMware ESXi 9.0 正式版发布下载 - 领先的裸机 Hypervisor
|
关系型数据库 MySQL 数据库
用navicat连接数据库报错:1130-host ... is not allowed to connect to this MySql server如何处理
用navicat连接数据库报错:1130-host ... is not allowed to connect to this MySql server如何处理
703 0
|
8月前
|
SQL 人工智能 关系型数据库
尝鲜体验 | 通义灵码近期新增了哪些功能?用户快速上手指南来了!
通义灵码近期新增了哪些功能?用户快速上手指南来了!
194 10
|
6月前
|
Ubuntu
Ubuntu系统重装:一步一步指南
本文介绍了如何重装Ubuntu系统,重装系统可以让电脑重新恢复到原始状态,从而解决电脑出现的各种问题,提高电脑的运行效率。重装系统的过程需要准备U盘,从官网下载Ubuntu系统,进入BIOS设置,根据提示进行安装,安装完成后重启电脑即可完成重装Ubuntu系统。
|
存储 人工智能 大数据
TDengine 用户大会精彩回顾:AI+数据驱动汽车、能源、烟草、电力应用的未来
TDengine用户大会在京成功举办,聚焦“时序数据助你决胜AI时代”。涛思数据创始人陶建辉携手中科院院士王怀民等业界领袖,探讨时序数据最新进展及AI技术应用。会上发布了《时序大数据平台-TDengine核心原理与实战》一书,为企业与开发者提供宝贵指南。自2019年开源以来,TDengine已拥有57万用户实例,Star数达23.1k。王怀民赞赏TDengine全面创新,立足全球市场。大会还涉及数据库智能化运维、能源行业数字化转型等议题,并设有三大专场,深入讨论海量数据应用、智能制造新能源及新型电力系统,展示了TDengine在各领域的应用潜力与技术革新。
397 0
TDengine 用户大会精彩回顾:AI+数据驱动汽车、能源、烟草、电力应用的未来