从 MongoDB 到 时序数据库 TDengine,沃太能源实现 18 倍写入性能提升

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 沃太能源是国内领先储能设备生产厂商,数十万储能终端遍布世界各地。此前使用 MongoDB 存储时序数据,但随着设备测点增加,MongoDB 在存储效率、写入性能、查询性能等方面暴露出短板。经过对比,沃太能源选择了专业时序数据库 TDengine,生产效能显著提升:整体上,数据压缩率超 10 倍、写入性能提升 18 倍,查询在特定场景上也实现了数倍的提升。同时减少了技术架构复杂度,实现了零代码数据接入。本文将对 TDengine 在沃太能源的应用情况进行详解。

导读

沃太能源是国内领先储能设备生产厂商,数十万储能终端遍布世界各地。此前使用 MongoDB 存储时序数据,但随着设备测点增加,MongoDB 在存储效率、写入性能、查询性能等方面暴露出短板。经过对比,沃太能源选择了专业时序数据库 TDengine,生产效能显著提升:整体上,数据压缩率超 10 倍、写入性能提升 18 倍,查询在特定场景上也实现了数倍的提升。同时减少了技术架构复杂度,实现了零代码数据接入。本文将对 TDengine 在沃太能源的应用情况进行详解。

1.源起

在 2024 年前,我司使用 MongoDB 数据库存储时序数据,包括运行数据、秒级数据、功率数据、能量数据、收益数据、FFR 和 FACS 数据,涉及数十万设备的千万测点数据写入存储与实时设备状态查询与分析。使用场景对数据库性能要求高,响应时延在毫秒级。

在实际使用中,随着接入设备测点的增加,MongoDB 在处理时序数据方面的局限性逐渐显现:

  • 存储效率较低,单位数据存储成本高:相较于专业时序数据库,MongoDB 存储数据压缩率较低,在海量时序数据存储时,存储开销大。且 MongoDB 尚不支持多级存储,无法按数据价值,差异化使用存储资源。
  • 写入性能较低,海量数据写入时间长:对于高频数据(毫秒级)数据写入,MongoDB 写入性能在秒级,很难满足我司储能设备高频数据采集性能要求,数据产生速度大于数据写入速度。
  • 查询性能较低,实时数据查询时间长:MongoDB 对复杂查询的支持全面,但实时查询场景所需的实时数据返回,查询性能仍不能满足生产所需。
  • 技术架构复杂,实时场景技术栈复杂:因 MongoDB 实时处理能力有限,故在技术架构设计时,需要引入 Redis,来满足实时查询需求。技术环节多,数据流转复杂,增加应用开发与技术管理复杂度。

2、探索

针对实时场景痛点,我司开始进行专业时序数据库选型,要求存储成本低、写入速度快,查询实时返回,并期望有效降低架构复杂度。
经对市场多款时序数据库调研,我司从技术可控、降本增效、架构简洁、性能优越、生态丰富五个维度进行对比,最终比选出涛思数据的 TDengine 作为我司实时数据基础数据库平台。

image.png

3、落地

我司 IT 团队与 TDengine 服务团队组成的项目实施团队,经过近三个月的协同工作,分阶段完成集群部署、MongoDB 数据迁移、数据库调优,以及生产割接,最终完成了我司时序数据处理基础架构从 MongoDB 向 TDengine 的迁移,在各方面均达成了项目预期目标。
image.png
例如:在设备综合信息查询场景,需要对具有 231 列的综合数据信息表,在亿级数据中查询某单一设备综合信息。此表存储设备的电压、电流、功率等信息。
5bd1725ff43499981a6a651f13e7d2db__fallback_source=1&height=1280&mount_node_token=doxcnwzIS8Yauzk4Qvp2nOiZxqc&mount_point=docx_image&policy=equal&width=1280.png

dc43251d2acda54658203c12aecfabec__fallback_source=1&height=1280&mount_node_token=doxcn6GJKOrsnl3dW0XaDWFGfDf&mount_point=docx_image&policy=equal&width=1280.png
使用 TDengine 后,单设备全天数据查询时间缩短至十几毫秒,单位时间业务数据查询效率提升明显,提升下游实时数据应用对客体验。
image.png

19d77eea374b4cd14d7ac38c25fe8984__fallback_source=1&height=1280&mount_node_token=doxcnm7mN6037AihtDBVUPeNtad&mount_point=docx_image&policy=equal&width=1280.png

另外就是存储方面,TDengine 优秀的时序数据压缩效率,大大提升了我司数据的存储能力,压缩率达到 10 倍以上,相比旧有 MongoDB,在硬件资源上有明显的成本下降。
image.png

4、创新

在 TDengine 企业版工具中,提供零代码数据接入组件 taosX,可以通过界面配置接入 Kafka 等三方数据源数据。我司应用 taosX,直接对接 Kafka 消息,写入数据至 TDengine,减少了系统复杂度,同时也降低了人力投入。
de94e4965657733b1ec6eefafaed3353_681cd9e6-71c7-4837-b33a-30653e60f3f8.png
另我司基于 TDengine 时序数据查询的优越性能,迁移原 Redis 实时报表数据应用至 TDengine,实践效果完全满足生产性能要求,验证了 TDengine 可以在部分实时场景替代 Redis 实时数据查询功能。

5、展望

TDengine 在实时场景的投产成功,增强了我司实时数据处理能力,更高效地服务于广大沃太储能客户。下一步,我司计划进一步扩大 TDengine 应用承载范围,应用 TDengine 新发布的 TDgpt 与虚拟表等功能,深化时序数据应用场景,更好地服务于我司内外部客户。

关于沃太能源

沃太能源股份有限公司自 2012 年成立以来专注于储能产品的研发、生产和销售,掌握 BMS、EMS、系统集成、云管理平台等储能核心控制技术,是行业领先的全功率段储能系统提供商,致力于为家庭、 工商业园区、电网、发电站、电力公司等提供综合的新能源智慧解决方案。
公司拥有国家级“专精特新”重点小巨人、国家高新技术企业认证、国家知识产权示范企业等多项荣誉,主要产品涵盖微型、户用、工商业和大型四大储能核心领域,广泛应用于电力系统的发电、输电、配电、用电等环节,可帮助降低用电成本、 提高新能源电力使用率、减少碳排放,为可持续发展做出积极贡献。

关于作者

沃太能源云平台开发部主要负责 Alpha 储能平台的软件、通讯以及物联网平台开发,实现储能系统与设备的互联互通,提供能源管理、数据分析及远程管控等功能,实现储能平台数智化运营。

目录
相关文章
|
2月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
128 3
|
6月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
4月前
|
NoSQL MongoDB 数据库
数据库数据恢复—MongoDB数据库数据恢复案例
MongoDB数据库数据恢复环境: 一台操作系统为Windows Server的虚拟机上部署MongoDB数据库。 MongoDB数据库故障: 工作人员在MongoDB服务仍然开启的情况下将MongoDB数据库文件拷贝到其他分区,数据复制完成后将MongoDB数据库原先所在的分区进行了格式化操作。 结果发现拷贝过去的数据无法使用。管理员又将数据拷贝回原始分区,MongoDB服务仍然无法使用,报错“Windows无法启动MongoDB服务(位于 本地计算机 上)错误1067:进程意外终止。”
|
4月前
|
缓存 NoSQL Linux
在CentOS 7系统中彻底移除MongoDB数据库的步骤
以上步骤完成后,MongoDB应该会从您的CentOS 7系统中被彻底移除。在执行上述操作前,请确保已经备份好所有重要数据以防丢失。这些步骤操作需要一些基本的Linux系统管理知识,若您对某一步骤不是非常清楚,请先进行必要的学习或咨询专业人士。在执行系统级操作时,推荐在实施前创建系统快照或备份,以便在出现问题时能够恢复到原先的状态。
412 79
|
2月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(上)
最终建议:当前系统是完美的读密集型负载模型,优化重点应放在减少行读取量和提高数据定位效率。通过索引优化、分区策略和内存缓存,预期可降低30%的CPU负载,同时保持100%的缓冲池命中率。建议每百万次查询后刷新统计信息以持续优化
213 6
|
2月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(中)
使用MYSQL Report分析数据库性能
141 1
|
4月前
|
存储 NoSQL MongoDB
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
269 8
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
|
3月前
|
运维 NoSQL 容灾
告别运维噩梦:手把手教你将自建 MongoDB 平滑迁移至云数据库
程序员为何逃离自建MongoDB?扩容困难、运维复杂、高可用性差成痛点。阿里云MongoDB提供分钟级扩容、自动诊断与高可用保障,助力企业高效运维、降本增效,实现数据库“无感运维”。
|
3月前
|
缓存 关系型数据库 MySQL
MySQL数据库性能调优:实用技术与策略
通过秉持以上的策略实施具体的优化措施,可以确保MySQL数据库的高效稳定运行。务必结合具体情况,动态调整优化策略,才能充分发挥数据库的性能潜力。
187 0
|
7月前
|
运维 NoSQL Cloud Native
国内独家|阿里云首发MongoDB 8.0,性能提升“快”人一步
阿里云作为MongoDB的最佳战略合作伙伴,在国内独家发布了8.0版本,支撑广大用户进一步提升业务效率。

热门文章

最新文章

推荐镜像

更多
下一篇
oss云网关配置