EMQX Enterprise 新版本发布:新增 Apache IoTDB 支持、HStreamDB 最新版以及 MongoDB 6.0 适配

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 本次发布增加了Apache IoTDB集成支持以满足工业制造海量数据存储与分析的需求,同时对最新版本的HStreamDB(v0.14.0)和MongoDB(v6.0)进行了适配,用户可以根据业务需要轻松与相应的第三方数据库对接。

图1.png

我们很高兴地宣布:EMQX Enterprise 4.4.15 和 4.4.16 版本现已正式发布!

本次发布增加了 Apache IoTDB 集成支持以满足工业制造海量数据存储与分析的需求,同时对最新版本的 HStreamDB v0.14.0 和 MongoDB(v6.0)进行了适配,用户可以根据业务需要轻松与相应的第三方数据库对接,实现物联网数据的持久化与进一步处理。除此之外,我们还修复了多项 BUG。

新增 Apache IoTDB 数据集成

Apache IoTDB(物联网数据库)是一体化收集、存储、 管理与分析物联网时序数据的软件系统,具有高吞吐量读写、高效树形元数据结构、丰富查询语义、低硬件成本、灵活部署以及与开源生态系统紧密集成等特点。

EMQX Enterprise 4.4.15 提供了 Apache IoTDB 的支持,包括 0.13.x 以及 1.x 版本。借助 EMQ 提供的边缘工业协议网关软件 Neuron 与 EMQX 的组合,可以实现工业设备的接入,并通过规则引擎将采集到的海量、高频工业实时数据存储到 Apache IoTDB 中,进一步实现海量数据存储、高速数据读取和复杂数据分析需求。详细可参考 EMQ 工业制造解决方案

HStreamDB 最新版适配

本次发布中,EMQX Enterprise 规则引擎适配了 HStreamDB 最新版本 v0.14.0。

相较于此前支持的 0.8 版本,HStreamDB 后续版本改进了集群架构,新增了 stream 分区、HStream IO 数据集成框架、 端到端压缩等重大特性,提供了 HStream Operator 以简化运维管理,并为 HStream SQL 增加了更多丰富的查询语句,更多内容请参考 HStreamDB Release Note。与最新版本 HStreamDB 的集成,使得用户可以利用 EMQX+HStreamDB 的组合实现海量物联网流数据的存储和实时处理。

有关 EMQX Enterprise 与 HStreamDB 最新版本的集成教程,可参考:EMQX+HStreamDB 实现物联网流数据高效持久化

此外,该版本中 HStreamDB 数据集成还支持了 SSL/TLS 连接。

MongoDB 6.0 支持

为认证、发布订阅 ACL、规则引擎等功能适配了 MongoDB 6.0。

MongoDB 6.0 提供了多项适用于物联网的特性,包括增强的时序集合,能够更高效地写入和查询数据;增强的 Change Stream 能够实现物联网数据存储、实时监测传感器数据变化、更新设备状态等;新增的柱状压缩能够减少存储空间的使用,适用于物联网更大规模的数据存储。

数据集成 Kafka 支持 Headers

规则引擎 Kafka 集成支持动态设置 Headers。

Kafka Headers 用于在消息中添加键值对组成的元数据,用来标识消息的类型、来源、目标、时间戳等信息。例如,您可以将客户端属性或 MQTT 5.0 User Property 通过 Headers 透传,并在业务侧进行消息路由、过滤、监控和跟踪等操作,实现更灵活的业务开发。

数据集成 RocketMQ 支持设置生产者投递策略

规则引擎 RocketMQ 支持按客户端 ID、用户名或主题将消息投递到同一队列中。

RocketMQ 生产者投递消息时可以设置轮询、哈希、随机或自定义等不同方式的投递策略。此前版本中 EMQX Enterprise 采用了轮询算法进行消息投递,同一来源的消息可能会被投递到不同的队列中导致消费顺序错乱,现在您可以设置投递策略,确保数据消费时的顺序性。

Prometheus 新增活跃客户端统计指标

在 EMQX Enterprise 中,客户端的总数为仍然保持连接的客户端(即活跃客户端)、已断开连接但保留会话的客户端之和,其状态分别为 “已连接” 和 “已断开”。

在某些情况下,活跃客户端更能准确地反映业务运行情况,因此我们在 Prometheus 集成添加了 live_connections.countlive_connections.max 两个指标,分别表示当前活跃客户端数量和历史最大活跃客户端数量。

BUG 修复

以下是主要 BUG 修复,完整 BUG 修复列表请参考 EMQX 企业版 4.4.15 更新日志EMQX 企业版 4.4.16 更新日志

  • 修复 Redis 离线消息顺序问题,此前该功能会以相反顺序发送离线消息。
  • 修复重启之后初始化失败的模块会被禁用的问题。
  • 修复热升级后,规则引擎 Oracle 数据库无法自动重连的问题。
  • 修复规则引擎无法支持 RocketMQ 集群的问题。
  • 修复使用消息重发布动作转发带 User-Property 的 MQTT 消息时出错的问题 #9942
  • 使用 HTTP API 分页请求客户端列表时,当请求发送到不同的 EMQX 节点返回的客户端列表可能不一致的问题 #9926。
  • 修复排他订阅在会话关闭后主题没有被释放的问题 #9868。
版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://www.emqx.com/zh/blog/emqx-enterprise-v-4-4-16-released

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
SQL 物联网 Apache
使用Apache IoTDB进行IoT相关开发的架构设计与功能实现(11)
目前,IoTDB中不存在冲突的权限,因此用户的真正权限是用户自身权限和用户角色权限的结合。也就是说,要确定用户是否可以执行操作,取决于用户自己的权限之一或用户角色的权限是否允许该操作。用户自己的特权和用户角色的特权可能会重叠,但这并不重要。
210 1
|
存储 物联网 数据管理
使用Apache IoTDB进行IoT相关开发的架构设计与功能实现(12)
现在到了使用Apache IoTDB进行IoT相关开发的架构设计与功能实现的最后一个环境,在本文中我将向大家介绍IoTDB的查询语言。IoTDB为咱们广大开发者提供了类似SQL的查询语言,用于与IoTDB进行交互,查询语言可以分为4个主要部分:架构语句、数据管理语句、数据库管理语句、功能。
220 0
|
SQL 分布式计算 Java
Apache IoTDB开发系统整合之Spark IoTDB Connecter
以下 TsFile 结构为例: TsFile 架构中有三个度量:状态、温度和硬件。
276 0
|
存储 缓存 监控
Apache IoTDB开发之运维和监控工具
目前,IoTDB为用户提供了使用Java的JConsole工具来监控系统状态或使用IoTDB的开放API来检查数据状态。启动JConsole工具并连接到IoTDB服务器后,咱们大家就可以基本了解IoTDB系统状态,包括CPU占用,内存信息等。
700 0
|
数据可视化 Java 物联网
Apache IoTDB开发之JMX 工具
Java VisualVM 是一个工具,它提供了一个可视化界面,用于在 Java 虚拟机 (JVM) 上运行时查看有关 Java 应用程序的详细信息,以及对这些应用程序进行故障排除和分析。
157 0
|
SQL 传感器 物联网
使用Apache IoTDB进行IoT相关开发的架构设计与功能实现(10)
物联网提供限制/限制条款和偏移/偏移子句,以使用户对查询结果有更多的控制权。使用 LIMIT 和 SLIMIT 子句允许用户控制查询结果的行数和列数,使用 OFFSET 和 SOFSET 子句允许用户设置结果的起始位置进行显示。
153 0
|
4月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
121 1
|
2月前
|
数据处理 Apache 数据库
将 Python UDF 部署到 Apache IoTDB 的详细步骤与注意事项
【10月更文挑战第21天】将 Python UDF 部署到 Apache IoTDB 中需要一系列的步骤和注意事项。通过仔细的准备、正确的部署和测试,你可以成功地将自定义的 Python UDF 应用到 Apache IoTDB 中,为数据处理和分析提供更灵活和强大的支持。在实际操作过程中,要根据具体情况进行调整和优化,以确保实现最佳的效果。还可以结合具体的代码示例和实际部署经验,进一步深入了解和掌握这一过程。
33 2
|
2月前
|
存储 物联网 数据处理
如何使用 Apache IoTDB UDF
【10月更文挑战第21天】使用 Apache IoTDB 的 UDF 可以为用户提供更大的灵活性和扩展性,帮助用户更好地处理和分析物联网数据。通过合理编写和使用 UDF,用户可以充分发挥 IoTDB 的潜力,实现更复杂、更高效的数据处理和分析任务。
47 2
|
2月前
|
人工智能 NoSQL 机器人
MongoDB Atlas与YoMio.AI近乎完美适配:推理更快速、查询更灵活、场景更丰富
随着MongoDB的新发布和革新,YoMio.AI的“闪电式发展”值得期待。