MQTT over QUIC 多流支持

简介: 过去的2月份,EMQX开源版发布了v5.0.16、v5.0.17以及v5.0.18三个版本,提供了MQTT over QUIC多流(multistream)支持。

图1.jpg

过去的 2 月份,EMQX 开源版发布了 v5.0.16、v5.0.17 以及 v5.0.18 三个版本,提供了 MQTT over QUIC 多流(multistream)支持。企业版 v4.3.19 以及 v4.4.15 开发完成,即将发布,数据集成将新增对 HStreamDB 最新版本的适配,并允许设置 RocketMQ 消息生产者投递策略,将相同属性的消息转发到同一 RocketMQ 队列(Queue)中。

正在开发中的功能还有基于 MQTT 的大文件传输,目前已经完成主体开发并在团队内部进行了 PoC Demo。同时,我们对开源版 5.0 文档]进行了大量重构和内容调整,以帮助用户更快上手使用 EMQX。

*关于 MQTT over QUIC 的技术解析可参考:MQTT over QUIC:物联网消息传输还有更多可能

MQTT over QUIC 多流支持

在 5.0.18 版本中,EMQX 利用 QUIC 的多路复用特性,扩展 MQTT over QUIC 实现了多流支持。

启用多流将为消息通信带来以下改善:

  1. 解耦连接控制和消息传输;
  2. 避免主题之间的队首阻塞,每个主题可以有独立的流以消除其他主题长阻塞带来的影响;
  3. 解耦控制平面流量和数据平面流量;
  4. 将上行数据(发布)和下行数据(消息接收)拆分为不同通道,更快地响应客户端操作;
  5. 为不同主题设置不同流,实现主题优先级控制;
  6. 提高客户端/服务器端处理的并行性;
  7. 更健壮的 MQTT 数据处理:应用程序导致的单流中止不会导致连接关闭;
  8. 更细粒度的收发端协同流量控制:可以对每一个流,同时对整个连接进行流控,实现更细粒度的流量控制;
  9. 减少应用层的延迟:客户端在发送订阅或发布数据包之前不需要等待 CONNACK。

MQTT 文件传输完成 PoC Demo

为满足物联网应用中各类如配置、传感器数据、媒体和 OTA 升级包等文件的传输,EMQX 设计了基于 MQTT 的文件传输功能。

相较于 HTTP/FTP 方案,基于 MQTT 的文件传输与消息传输使用了统一的技术栈,减少了额外的开发、运维和安全审计工作,并且能够实现整体流控,避免文件传输占用大量带宽从而影响业务消息传输。未来 EMQX 还将提供基于 MQTT over QUIC 的大文件传输能力,实现弱网环境下高效可靠文件传输。

本月 MQTT 文件传输已经完成主体开发,实现了大文件分块传输、断点续传、可靠传输等特性并进行了内部 PoC Demo,将在进一步开发和测试后与大家见面。

适配 HStreamDB 最新版

EMQX 数据集成支持最新 HStreamDB 0.13.0版本,相较于此前支持的 0.8 版本,HStreamDB 0.13.0 能够支持更高的数据写入速度并加入了更多功能。

RocketMQ 数据集成支持设置生产者投递策略

EMQX 支持将客户端消息和事件以生产者的身份投递到 RocketMQ 中,实现与 RocketMQ 的数据集成。

此前版本中 EMQX 采用了 RocketMQ 默认的轮询算法进行消息投递,消息会被投递到不同的队列中。本次发布中 EMQX 新增了生产者投递策略的设置,允许用户将相同客户端 ID、用户名或主题的消息投递到同一 RocketMQ 队列中,满足某些场景下,同一类型的消息投递和消费的顺序性保证。

功能增强

  • 增加新的通用 TLS 选项 hibernate_after,在闲置一段时间后休眠 TLS 进程以减少其内存占用。默认值为 5s。
  • 允许在 AuthZ 规则主题中任意位置使用占位符,例如 {allow, {username, "who"}, publish, ["t/foo${username}boo/${clientid}xxx"]}.
  • 不再提供 Alpine Docker 镜像,Alpine 镜像的优势是体积非常小,但现在 EMQX 的 Alpine Docker 镜像体积已经大于基于 Debian Slim 的常规镜像,失去了存在价值。
  • Prometheus 集成添加了 live_connections.countlive_connections.max 两个指标,用于统计活跃客户端的数量。
  • HTTP API 支持 Proxy Protocol 协议,能够获取发起 HTTP 请求的客户端真实 IP。

问题修复

我们修复了多个已知 BUG,包括排他主题死锁问题、Replicant 节点无法手动加入集群问题。

各版本详细更新日志请查看:

版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://www.emqx.com/zh/blog/emqx-newsletter-202302

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
7月前
|
消息中间件 物联网 网络性能优化
MQTT常见问题之MQTT不支持5.0的协议如何解决
MQTT(Message Queuing Telemetry Transport)是一个轻量级的、基于发布/订阅模式的消息协议,广泛用于物联网(IoT)中设备间的通信。以下是MQTT使用过程中可能遇到的一些常见问题及其答案的汇总:
|
7月前
|
物联网 Go 网络性能优化
使用Go语言(Golang)可以实现MQTT协议的点对点(P2P)消息发送。MQTT协议本身支持多种消息收发模式
使用Go语言(Golang)可以实现MQTT协议的点对点(P2P)消息发送。MQTT协议本身支持多种消息收发模式【1月更文挑战第21天】【1月更文挑战第104篇】
507 1
|
1月前
|
编解码
RTMP 和 HLS 协议的实时性和稳定性哪个更好?
【10月更文挑战第26天】RTMP和HLS协议在实时性和稳定性方面各有优劣,具体选择哪种协议应根据直播的具体需求和应用场景来决定。如果注重实时互动,RTMP可能是更好的选择;如果考虑到兼容性和在不同网络条件下的稳定播放,HLS则更为合适。
|
7月前
|
监控 安全 物联网
Mqtt协议问题之下标准的Mqtt协议在哪里可以下载
MQTT协议是一个轻量级的消息传输协议,设计用于物联网(IoT)环境中设备间的通信;本合集将详细阐述MQTT协议的基本原理、特性以及各种实际应用场景,供用户学习和参考。
102 3
|
7月前
|
物联网 Go 网络性能优化
MQTT协议本身支持多种消息收发模式
MQTT协议本身支持多种消息收发模式【1月更文挑战第24天】【1月更文挑战第120篇】
168 3
|
7月前
|
消息中间件 Web App开发 监控
mqtt数据问题之如何实现webRTC 协议的监控视频压测
MQTT协议是一个轻量级的消息传输协议,设计用于物联网(IoT)环境中设备间的通信;本合集将详细阐述MQTT协议的基本原理、特性以及各种实际应用场景,供用户学习和参考。
126 0
|
监控 Cloud Native 物联网
MQTT 连接优化指南
MQTT 连接优化指南
778 0
EMQ
|
监控 安全 数据可视化
EMQX Enterprise 5.1 正式发布:生产环境就绪的 MQTT over QUIC、基于 MQTT 的文件传输支持
EMQX Enterprise 5.1 单集群可达 1 亿客户端连接;创新性地引入 MQTT over QUIC 协议;同时提供了 MQTT 大文件传输能力以及可视化数据集成能力。
EMQ
261 0
EMQX Enterprise 5.1 正式发布:生产环境就绪的 MQTT over QUIC、基于 MQTT 的文件传输支持
|
消息中间件 存储 网络协议
MQTT-轻量级的物联网消息传输协议
随着 5G 时代的来临,万物互联的伟大构想正在成为现实。联网的 物联网设备 在 2018 年已经达到了 70 亿,在未来两年,仅智能水电气表就将超过10亿。
350 0
|
搜索推荐 网络架构
RTP协议应用方案
RTP协议应用方案
93 0