全新物联网数据集成 :Flow 可视化编排 & 双向数据桥接

简介: 最新发布的EMQX 5.0针对数据集成相关功能进行了深度的重构和优化,并提供了数据集成可视化查看能力(Flows),本文将为读者详细展示EMQX这一重要能力的价值与应用。

引言:全新的数据集成能力

为物联网平台与应用提供高性能的实时数据处理与集成,一直是 EMQX 最重要的能力之一。最新发布的 EMQX 5.0 针对数据集成相关功能进行了深度的重构和优化,以期帮助用户更加轻松灵活地使用。

EMQX 5.0 将 Webhook、数据存储/桥接插件整合到一起,使用统一接口来管理南北向数据流,用户在原有数据采集上报场景进行规则处理的基础上,还可实现通过规则处理云端到设备的南向消息。

同时,EMQX 5.0 还提供了数据集成可视化查看能力(Flows)。通过 Dashboard 页面,用户可以清晰看到物联网数据如何通过规则处理,以及数据如何流向外部数据服务或设备。

后续版本还将支持在 Dashboard 上以拖拽的方式编排规则和数据桥接(Flow Editor),通过可视化界面将物联网硬件数据流轻松连接在一起。

本文将为读者详细展示 EMQX 这一重要能力的价值与应用,以及 EMQX 5.0 中对其进行了哪些升级优化。

什么是数据集成

EMQX 数据集成即 4.x 版本中的规则引擎与桥接功能的组合。它是在发布订阅模型基础之上的数据处理与分发组件,通过简单、可视化的配置,即可将消息流设备事件与 Kafka、RabbitMQ 等消息中间件以及各类 SQL / NoSQL / 时序数据库等数据系统集成。

EMQX 实时、简洁、高效的数据集成方案主要通过规则数据桥接两个功能实现。

规则用于消息和事件数据的处理,通过 SQL 语法结合内置或用户扩展的自定义函数,实现诸如数据格式转换、消息编解码、业务逻辑处理等操作。关于规则的详细信息,请参见规则

数据桥接用于对接数据系统,在 EMQX 和外部系统之间实现双向、高性能的数据数据移动。通过数据桥接,用户可以实时地将消息从 EMQX 发送到外部数据系统,或者从外部数据系统拉取数据并发送到 EMQX 的某个主题。关于数据桥接的详细信息,请参见数据桥接

数据集成.png

为什么需要数据集成

MQTT 协议被设计用于硬件设备到服务器的消息传递,而要实现完整的物联网应用,则需要将设备与业务系统连接起来,实现上报数据的云端存储与业务指令的下发。

传统的物联网应用开发中,实现这一目的需要开发人员编写对应的代码,之后的业务变更则需要对整个应用进行升级。而设备端、业务平台端往往都是独立团队运营,如何实现设备端和云端业务平台解耦并高效完成业务对接是项目能否快速交付并升级迭代的关键。

EMQX 数据集成即旨在解决这一问题。通过提供灵活低代码的配置能力,帮助用户轻松上手,快速实现各类应用集成与业务创新。

经过多年来在各行业物联网应用场景中的落地实践,EMQX 数据集成能力已经成为构建整体应用的必备关键功能,持续为用户创造价值。

EMQ 车联网整体解决方案.png

EMQ 车联网整体解决方案:围绕规则引擎构建上层 TSP 和其他业务

双向数据流:数据上报与消息下发均支持规则处理

物联网应用中设备与业务系统之间的数据通常都是双向的,既有数据采集上报的场景,也有云端消息下发的需求,两者结合共同实现完整的业务流程。

在此前版本中,EMQX 的规则是通过设备的消息和事件触发执行的。这就意味着规则仅能用于数据采集上报场景,云端到设备的消息下发场景则无法直接使用规则的数据处理能力。用户需要使用中转方案将数据先发送到 EMQX 某个主题中,再通过规则进行处理。

EMQX 5.0 对此进行了优化:提供了双向数据桥接能力——除了将设备数据桥接至外部系统外,还能从外部数据系统如另一个 MQTT 服务、Kafka 中桥接数据至 EMQX,并经过规则处理后发送到指定设备。

EMQX 数据集成南向消息处理下发流程示意图.png

EMQX 数据集成南向消息处理下发流程示意图:紫色路径为 4.x 版本方案

双向数据流的数据桥接在云端下发场景解耦了业务系统与 EMQX 连接,能够实现持续的大规模消息下发与实时处理,为物联网业务开发提供了更多的可能性。

Flow Editor:通过可视化编排规则处理数据流

在之前的版本中,EMQX 的数据集成是通过配置 SQL + 规则动作的方式实现的,这种模式有以下好处:

  • SQL 语法在数据库领域广泛应用,有技术背景的用户可以很快上手并在短时间内掌握写出复杂规则;
  • SQL 规则相比编码有更好的可阅读性,且能够在运行时创建、变更,适合快速变化的业务。

围绕 SQL 的数据集成与数据处理方式可以让用户快速开发实现所需业务,但也带来了一些问题:

  • 技术人员需要先熟悉 EMQX 规则 SQL 语法才能开始编写业务,而对于非技术人员,SQL 不够直观,上手使用门槛较高;
  • 使用 SQL 无法实现一些复杂的场景,例如在同一条规则中根据条件将数据分发到不同数据桥接,这将导致用户不得不创建多条相似的规则;
  • 无法在不修改 SQL 的情况下增加一个事件以复用同一条规则;
  • 规则较多的情况下无法提供清晰的数据处理与集成流程,很难维护和管理。

在 EMQX 5.0 中,我们通过可视化查看能力(Flows)优先解决了多个规则下数据集成难以维护和管理的问题。通过 Dashboard 页面,用户可以清晰看到物联网数据如何通过规则处理并流向外部数据系统或是从外部数据系统经规则处理后分发到设备的数据集成拓扑,并监控这一链路中任意规则或数据桥接节点的状态。

Flow Editor:通过可视化编排规则处理数据流.png

后续版本中,我们将在 EMQX 上内置一个具有可视化编排能力的数据流编辑器 -- Flow Editor。它基于浏览器使用并搭配底层的执行引擎,将允许用户在 EMQX Dashboard 上以拖拽的方式自由编排规则和数据桥接。通过可视化界面将物联网硬件数据流轻松连接在一起,实现更灵活、快速的物联网业务开发与交付。

数据集成升级指南:从 v4 迁移到 v5

EMQX 5.0 规则 SQL 完全兼容 4.x 版本的语法,但是在设计上将原属于规则下的动作拆分为内置动作(消息重发布、控制台输出)与数据桥接(Webhook、MQTT Bridge),以便实现规则与数据桥接的复用。

除了架构设计之外,EMQX 还对旧版本中数据集成相关功能进行了整合。在 4.x 版本的规则引擎功能推出之前,用户可以使用插件实现简单的数据集成。出于兼容性考虑,规则引擎推出之后我们没有移除这些插件,这带来了一定的功能碎片化情况。

EMQX 5.0 正式移除了相关的插件,以便为用户提供更加清晰且完整的数据集成能力,降低学习和选择的难度。

以下为 EMQX 开源版 4.x 升级到 5.0 功能变化对照关系:

表格.jpg

结语

在各行业构建物联网平台与应用的过程中,根据需求对海量数据进行准确、实时的处理,与各类上层业务系统应用对接,是必不可少的环节和挑战。作为一个可「随处运行、无限连接、任意集成」的物联网 MQTT 消息服务器,EMQX 将通过强大易用且不断完善的数据集成能力,帮助用户轻松应用数据处理难题,实现业务创新。

目录
相关文章
|
2月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
505 43
|
2月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
172 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
4天前
|
机器学习/深度学习 算法 物联网
面向能效和低延迟的语音控制智能家居:离线语音识别与物联网集成方案——论文阅读
本文提出一种面向能效与低延迟的离线语音控制智能家居方案,通过将关键词识别(KWS)集成至终端设备,结合去中心化Mesh网络与CoAP协议,实现本地化语音处理。相较云端方案,系统能耗降低98%,延迟减少75%以上,显著提升响应速度与能源效率,为绿色智能家居提供可行路径。(236字)
64 17
面向能效和低延迟的语音控制智能家居:离线语音识别与物联网集成方案——论文阅读
|
7月前
|
传感器 人工智能 物联网
健康监测设备的技术革命:AI+物联网如何让你随时掌握健康数据?
健康监测设备的技术革命:AI+物联网如何让你随时掌握健康数据?
864 19
|
2月前
|
SQL 关系型数据库 Apache
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。
1001 0
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
|
2月前
|
机器学习/深度学习 SQL 大数据
什么是数据集成?和数据融合有什么区别?
在大数据领域,“数据集成”与“数据融合”常被混淆。数据集成关注数据的物理集中,解决“数据从哪来”的问题;数据融合则侧重逻辑协同,解决“数据怎么用”的问题。两者相辅相成,集成是基础,融合是价值提升的关键。理解其差异,有助于企业释放数据潜力,避免“数据堆积”或“盲目融合”的误区,实现数据从成本到生产力的转变。
什么是数据集成?和数据融合有什么区别?
|
9月前
|
容灾 安全 关系型数据库
数据传输服务DTS:敏捷弹性构建企业数据容灾和集成
数据传输服务DTS提供全球覆盖、企业级跨境数据传输和智能化服务,助力企业敏捷构建数据容灾与集成。DTS支持35种数据源,实现全球化数据托管与安全传输,帮助企业快速出海并高效运营。瑶池数据库的全球容灾、多活及集成方案,结合DTS的Serverless和Insight功能,大幅提升数据传输效率与智能管理水平。特邀客户稿定分享了使用DTS加速全球业务布局的成功经验,展示DTS在数据分发、容灾多活等方面的优势。
169 0
|
4月前
|
运维 安全 数据管理
Dataphin V5.1 企业级发布:全球数据无缝集成,指标管理全新升级!
企业数据管理难题?Dataphin 5.1版来解决!聚焦跨云数据、研发效率、指标管理和平台运维四大场景,助力数据团队轻松应对挑战。无论是统一指标标准、快速定位问题,还是提升管理安全性,Dataphin都能提供强大支持。3分钟了解新版本亮点,让数据治理更高效!
|
9月前
|
人工智能 安全 Dubbo
Spring AI 智能体通过 MCP 集成本地文件数据
MCP 作为一款开放协议,直接规范了应用程序如何向 LLM 提供上下文。MCP 就像是面向 AI 应用程序的 USB-C 端口,正如 USB-C 提供了一种将设备连接到各种外围设备和配件的标准化方式一样,MCP 提供了一个将 AI 模型连接到不同数据源和工具的标准化方法。
3801 112
|
8月前
|
Java 关系型数据库 MySQL
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
1822 45

相关产品

  • 物联网平台