龙蜥衍生技术助力清华登顶TPC物联网数据性能榜首 | 干货推荐

简介: 新纪录。

近日,国际事务处理性能委员会(TPC)发布最新的全球物联网场景权威评测 TPCx-IoT 榜单,浪潮信息与清华大学软件学院联合打造的 IoTDB 时序数据库一体机集群通过软硬件协同创新突破时序数据处理瓶颈 ,以 22,713,531IoTps 的性能成绩刷新世界纪录。该一体机由元脑 NF3280G7 服务器和龙蜥衍生版操作系统 KeyarchOS 构建底层物联网数据处理平台,与 IoTDB 深度融合,每秒可稳定支撑 2270 余万条物联网时序数据记录的并发处理,较前世界纪录大幅提升近 60%,同时系统总成本降低 57%,为智慧能源、智能制造等领域物联网数据“大规模采集-高并发瞬时写入-低延迟实时分析”的全生命周期管理及决策优化提供支撑。



TPCx-IoT 是 TPC(事务处理性能委员会)推出的权威物联网数据处理性能评测工具,为物联网数据处理平台的性能评估提供了统一的标准。该工具模拟了工业电力场景下数千个发电站的传感器数据管理,帮助用户评估并选择最适合其物联网应用的数据处理平台。本次打榜的 IoTDB 时序数据库一体机基于元脑服务器 NF3280G7,结合龙蜥衍生版操作系统 KeyarchOS 实现数据库处理性能大幅提升,数据库软件采用天谋科技基于清华发起的开源软件 Apache IoTDB 开发的时序数据库软件 TimechoDB,具备大规模高通量的时序数据读写、高效的实时分析处理、高压缩比的磁盘存储等显著优势。IoTDB 时序数据库一体机在 TPCx-IoT 榜单中强势登顶,是浪潮信息与清华软件学院团队通过软硬一体化协同创造的全新标杆。


  • TPCx-IoT 基准测试:物联网场景复杂时序数据处理性能评估标准

时序数据,指通过工业设备的传感器按时间维度记录设备状态变化的数据类型,如发电风机的功率、风速等。时序数据通常连续生成、体量巨大、采集频次高且查询使用时需要和时间信息紧密结合(如查询过去 30 分钟内电压变化情况),是工业互联网的核心数据。TPCx-IoT 基准测试是专为应对物联网场景中时序数据管理需求而设计的评估工具,主要从单位时间内处理数据纪录的数量(IoTps)和系统总成本($/kIoTps)两个关键维度进行评测。


其中,TPCx-IoT 基准评测中性能(IoTps)是最核心的指标,着重考察系统在高通量时间序列数据读写管理以及实时分析决策能力方面的表现,IoTps 值越高,意味着系统在单位时间内能够处理的数据记录越多,数据处理和查询性能则越强。


数据写入:测试首先生成数百亿条包含传感器名称、时间戳、读数等关键信息的数据记录,模拟物联网场景大规模数据瞬时到达场景,由参评系统执行数据摄取和写入操作,记录总耗时并计算系统在单位时间内的数据处理量从而得出 IoTps 值,过程中侧重考验系统的高通量读写及高压缩比存储性能,对硬件平台的 I/O 吞吐量、网络优化等能力也提出较大挑战。


实时查询:测试会同步模拟实际应用需求,跨表提取数据并执行查询分析操作,通过随机查询传感器在两个不同的 5 秒时间间隔内的数据记录,进行数据查验,从而验证系统是否具备高效的数据聚合与分析能力。

此外,TPCx-IoT 评测还充分考虑了系统总成本($/kIoTps),通过衡量性能与系统成本效益综合表现,帮助用户选择最适合其物联网应用的时序数据处理平台。


  • 高效支撑时序数据全流程处理,IoTDB 一体机登顶全球性能榜单

浪潮信息与清华软件学院团队联合打造的 IoTDB 时序数据库一体机,专为应对物联网时序数据的高并发写入、海量存储和快速查询分析等复杂需求而设计。该一体机由元脑 NF3280G7 服务器和龙蜥衍生版操作系统浪潮信息云峦 KeyarchOS 构建底层物联网数据处理平台,与 IoTDB 深度融合,本次评测中以每秒稳定写入 2270 余万条物联网时序数据的性能完成了 420 亿条数据处理,将性能成绩纪录大幅提升 60%,同时系统总成本较第二名降低 57%。



大规模高并发瞬时写入:该一体机通过计算加速等软硬件协同创新,在数据处理速度、响应效率及并发处理能力方面实现突破。其搭载的服务器较上一代性能提升 208%,整数计算负载处理时间缩短 52%,实现 100GB /秒的 I/O 吞吐能力,有效支持大规模设备高并发接入。通过 KeyarchOS 操作系统采用分层内存管理算法和透明大页分配策略,显著提升内存访问速度和资源分配效率。此外,与 IoTDB 时序数据库深度融合优化,应用列式编码压缩和共识状态同步等创新存储技术,实现每秒千万级传感器数据的高通量读写,与通用时序分布式存储引擎相比性能提升 5-10 倍,在多项测评中展现出显著的断层性能优势。


实时查询决策支持:该一体机在测评中表现出卓越的实时查询能力。依托先进的分布式索引架构和智能查询优化算法,可针对时间范围、设备状态等多维度条件实现毫秒级快速检索,并支持异常数据实时告警及根因分析等复杂分析操作,充分验证了系统在高通量数据查询和实时决策支持方面的领先能力。


系统总成本最优:该一体机利用高压缩比的磁盘存储技术,为用户提供了多种压缩算法,在保证数据完整性和精度的同时,减少数据存储空间需求,无损压缩比高达 20:1 以上,从而大幅降低硬件成本,为用户带来较高成本收益。


IoTDB 时序数据库技术源于清华大学软件学院王建民教授团队。团队积极探索国际化高端工业软件人才培养的新模式,依托大数据系统软件国家工程研究中心,建设了“工业大数据软件”国家基金委创新群体。TimechoDB 是源于清华的天谋科技基于 IoTDB 开发的企业版时序数据库软件,从 2011 年起,团队突破了数据高压缩、端边云贯通、时序大模型等数据库基础软件核心技术,帮助企业实时管控与预测设备健康与运行状态,其方案已广泛应用于能源、电力等关键行业场景。



未来,随着物联网不断发展和应用场景的不断拓展,浪潮信息将继续深化与清华团队的合作,在工业物联网时序数据的实时处理、智能决策分析、数据安全保障等方面持续技术突破,积极探索智慧城市、智慧交通等更丰富场景,加速物联网产业智能升级和创新发展。

—— 完 ——

相关文章
|
并行计算 算法 C++
统一内存统一内存的基本概念和使用
统一内存统一内存的基本概念和使用
2152 0
统一内存统一内存的基本概念和使用
|
8月前
|
Kubernetes 应用服务中间件 nginx
【赵渝强老师】K8s中Pod探针的TCPSocketAction
在K8s集群中,kubelet通过探针(如livenessProbe、readinessProbe和startupProbe)检查容器健康状态。探针支持HTTPGetAction、ExecAction和TCPSocketAction三种检查方法。本文重点介绍TCPSocketAction,它通过尝试建立TCP连接来检测容器的健康状况。示例中创建了一个Nginx Pod,并配置了两个探针(readinessProbe和livenessProbe),它们每隔5秒检查一次容器的8080端口,首次检查在启动后10秒进行。若连接失败,容器将重启。视频讲解和命令演示进一步详细说明了这一过程。
296 83
【赵渝强老师】K8s中Pod探针的TCPSocketAction
|
8月前
|
Kubernetes 容器 Perl
【赵渝强老师】Kubernetes中Pod的探针
在K8s集群中,kubelet通过三种探针(存活、就绪、启动)检查Pod容器的健康状态。存活探针确保容器运行,失败则重启;就绪探针确保容器准备好服务,失败则从Service中剔除;启动探针确保应用已启动,失败则重启容器。视频讲解和图片详细介绍了这三种探针及其检查方法(HTTPGet、Exec、TCPSocket)。
173 1
【赵渝强老师】Kubernetes中Pod的探针
|
存储 SQL 分布式计算
从源码看Velox如何做序列化
从源码角度分析Velox做序列化和反序列化的过程
1205 0
|
9月前
|
运维 物联网 数据处理
TDengine vs InfluxDB:谁的“流式计算”功能是真的?
随着物联网、车联网、工业物联网等领域的快速发展,时序数据的处理需求也在不断增加。为了满足这一需求,时序数据库应运而生,为高频数据写入和实时分析提供了强有力的支持。在这一领域,TDengine 和 InfluxDB 是两大领先的解决方案。尽管两者都具有强大的时序数据处理能力,但在流式计算方面,二者存在显著差异。
198 5
|
10月前
|
运维 Ubuntu 应用服务中间件
自动化运维工具Ansible的实战应用
【10月更文挑战第36天】在现代IT基础设施管理中,自动化运维已成为提升效率、减少人为错误的关键手段。本文通过介绍Ansible这一流行的自动化工具,旨在揭示其在简化日常运维任务中的实际应用价值。文章将围绕Ansible的核心概念、安装配置以及具体使用案例展开,帮助读者构建起自动化运维的初步认识,并激发对更深入内容的学习兴趣。
244 4
|
12月前
|
存储 网络协议 大数据
一文读懂RDMA: Remote Direct Memory Access(远程直接内存访问)
该文档详细介绍了RDMA(远程直接内存访问)技术的基本原理、主要特点及其编程接口。RDMA通过硬件直接在应用程序间搬移数据,绕过操作系统协议栈,显著提升网络通信效率,尤其适用于高性能计算和大数据处理等场景。文档还提供了RDMA编程接口的概述及示例代码,帮助开发者更好地理解和应用这一技术。
|
C++ Windows
windows下内存检测工具
windows下内存检测工具
541 0
|
数据采集 监控
IEC104 主站/客户端模拟器
`IEC104`主站/客户端模拟器,提供多主站/客户端模拟,单连接多站模拟,全面支持信息对象解析和自定义`APCI`参数。具备自动时钟同步、总召命令功能,直观的命令执行工具,通信帧监视及导出,ASDU管理,实时曲线绘制,内置校验和计算等实用工具。适用于电力系统监控调试,官网下载:[http://www.redisant.cn/iec104client](http://www.redisant.cn/iec104client)。
545 0
IEC104 主站/客户端模拟器
IDEA 出现问题:严重占用CPU 长时间在90~100%解决方案
IDEA 出现问题:严重占用CPU 长时间在90~100%解决方案
3822 0
IDEA 出现问题:严重占用CPU 长时间在90~100%解决方案