AI 助理
备案控制台
开发者社区 物联网 文章 正文

从零开始上手 MQTT over QUIC：快速体验下一代物联网标准协议

2022-11-28 600
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 为了更多用户能体验到MQTT over QUIC为物联网消息传输带来的提升，我们将通过本文指导您如何从零开始上手使用MQTT over QUIC。

前言

QUIC(RFC9000) 是下一代互联网协议 HTTP/3 的底层传输协议，与 TCP/TLS 协议相比，它在减少连接开销与消息延迟的同时，为现代移动互联网提供了有效灵活的传输层。

EMQX 5.0 是首个将 QUIC 引入 MQTT 的开创性产品。在长期的客户服务和技术探索中，我们注意到 QUIC 的特性能够和一些物联网场景完美契合，于是尝试将 MQTT 的传输层替换成 QUIC，由此诞生了 MQTT over QUIC。

正如 MQTT over QUIC：物联网消息传输还有更多可能 一文所述，在网络不稳定、连接多变的物联网场景下，QUIC 低连接开销和多路径支持的特性就显示出了其领先的优势。测试数据也表明，基于 QUIC 0 RTT/1 RTT 重连/新建能力，MQTT over QUIC 能够在弱网与不固定的网络通路中有效提升用户体验。

EMQ 正以世界知名开源和开放标准机构 OASIS 的 Foundational Sponsor 身份积极推动 MQTT over QUIC 的标准化落地。事实上，目前已经有一部分客户开始尝试将这一新特性投入使用并获得了良好的反馈。为了更多用户能体验到 MQTT over QUIC 为物联网消息传输带来的提升，我们将通过本文指导您如何从零开始上手使用 MQTT over QUIC。

启用 MQTT over QUIC

MQTT over QUIC 特性随 EMQX 5.0 发布。由于是实验性功能，在 CentOS 6、macOS 以及 Windows 系统下并未包含 QUIC 编译，请自行从源码编译并在编译前指定环境变量 BUILD_WITH_QUIC=1 ，其他操作系统和平台则可以正常使用。

MQTT over QUIC 默认不可用，请通过以下配置手动开启。

  1. 打开配置文件 etc/emqx.conf，取消 listeners.quic.default 配置组的注释（如果没有此配置组请手动添加）：

    # etc/emqx.conf
listeners.quic.default {
  enabled = true
  bind = "0.0.0.0:14567"
  max_connections = 1024000
  keyfile = "etc/certs/key.pem"
  certfile = "etc/certs/cert.pem"
}
  2. 该配置表示启用 QUIC 监听器并绑定 UDP 14567 端口，保存成功后请重启 EMQX 以应用配置。

  3. 执行 emqx_ctl listeners 命令，可在结果中看到 MQTT over QUIC 监听器已启用：

    > emqx_ctl listeners
quic:default
  listen_on       : :14567
  acceptors       : 16
  proxy_protocol  : undefined
  running         : true
ssl:default
  listen_on       : 0.0.0.0:8883
  acceptors       : 16
  proxy_protocol  : false
  running         : true
  current_conn    : 0
  max_conns       : 512000

您也可以使用 Docker，通过环境变量选取 UDP 14567 作为 QUIC 端口快速体验：

docker run -d --name emqx \
  -p 1883:1883 -p 8083:8083 \
  -p 8084:8084 -p 8883:8883 \
  -p 18083:18083 \
  -p 14567:14567/udp \
  -e EMQX_LISTENERS__QUIC__DEFAULT__keyfile="etc/certs/key.pem" \
  -e EMQX_LISTENERS__QUIC__DEFAULT__certfile="etc/certs/cert.pem" \
  -e EMQX_LISTENERS__QUIC__DEFAULT__ENABLED=true \
emqx/emqx:5.0.10

MQTT over QUIC 客户端与工具

相比于 MQTT 而言，目前 MQTT over QUIC 仍然缺少完整的客户端库和工具链支持。

我们针对 MQTT over QUIC 的适用场景，计划提供 C、Java、Python、Golang 等多个语言的客户端库并按照优先级逐个支持，确保嵌入式硬件等这类契合场景的业务能够率先将 QUIC 利用起来。

已有的客户端 SDK

  • NanoSDK：由 NanoMQ 团队发布的 C 语言的 MQTT SDK，除 MQTT over QUIC 外还支持 WebSocket、nanomsg/SP 等多协议
  • NanoSDK-Python：NanoSDK 的 Python 语言 binding
  • NanoSDK-Java：NanoSDK 的 Java JNA binding
  • emqtt：Erlang 语言的 MQTT 客户端库，支持 QUIC

除了客户端库之外，EMQ 还在边缘计算产品 NanoMQ 中提供了 MQTT over QUIC 桥接支持，在特定的应用中您可以借助 NanoMQ 实现边缘数据通过 QUIC 桥接上云，无需过多开发集成即可应用 MQTT over QUIC 的特性。

问题与解决

在开发中，考虑到 QUIC 基于 UDP 协议，目前许多运营商仍然对 UDP 包有特殊的路由策略，这往往导致 QUIC 连接无法成功建立或一直被丢包。

因此 MQTT over QUIC 客户端设计支持了 fallback 能力：API 层能够使用统一的操作编写业务，传输层则根据网络情况实时切换，当 QUIC 不可用时自动切换为 TCP/TLS 1.2，确保各类网络环境下业务都能正常运行。

通过 NanoSDK 完成 MQTT over QUIC 连接

NanoSDK 基于 MsQuic 项目率先实现了第一个 C 语言的 MQTT over QUIC SDK，能无缝兼容 EMQX 5.0。内部采用全异步 IO 设计，将 QUIC Stream 和 MQTT 连接映射绑定，并内置实现了 0RTT 快速握手重连功能，支持多核任务并行。

MQTT over QUIC SDK 图1.png

NanoSDK 使用示例

API 方面保持了之前的使用习惯，一行代码即可基于 QUIC 创建 MQTT 客户端：

## Create MQTT over Quic client with NanoSDK
nng_mqtt_quic_client_open(&socket, url);

消息示例代码请参考：NanoSDK

编译后可以通过以下命令连接 EMQX 5.0 的 14567 端口进行测试。

quic_client sub/pub mqtt-quic://54.75.171.11:14567 topic msg

NanoSDK 也提供 Java 和 Python 的 binding。

通过 NanoMQ 桥接完成 MQTT 3.1.1/5.0 与 MQTT over QUIC 的转换兼容

NanoMQ 是一款超轻量、高性能且跨平台的边缘 MQTT 消息引擎，兼具多协议消息总线功能，支持 MQTT over QUIC 桥接功能。它能够将传统 MQTT 客户端的数据转换成 QUIC 数据包并发给云端的 EMQX，从而为无法集成或找到合适 MQTT over QUIC SDK 的端侧设备和难以修改固件的嵌入式设备提供在 IoT 场景利用 QUIC 协议优势的捷径，降低使用门槛。

NanoMQ 图2.png

在需要与云端 MQTT 服务进行数据同步的各种物联网场景中，通过 NanoMQ 的多协议接入能力，您可以将其作为边缘消息总线和统一的数据空间，统一汇聚诸如 HTTP、MQTT 3.1.1/5.0、WebSocket、nanomsg/nng 和 ZeroMQ 等常用的 broker/brokerless 消息协议，再由 NanoMQ 内部强大的 Actor 消息处理模型转化成标准的 MQTT 消息后，通过 QUIC 传输层上云传输。

借此充分利用 MQTT over QUIC 0RTT 快速重连和被动地址切换等功能来克服网际漫游、弱网传输和 TCP 队头阻塞等各类常见的物联网连接问题。您还可以通过 NanoMQ 的规则引擎对数据做重定向、本地缓存或持久化。

依靠 EMQX+NanoMQ 的云边一体化的消息架构，用户能够快速且低成本的在泛物联网场景中完成跨时空地域的数据采集和同步需求。

EMQX+NanoMQ 图3.png

值得一提的是，NanoMQ 支持 QUIC 连接失败时自动切换至标准 MQTT over TCP 桥接的能力，这能够确保您的使用不受网络环境限制。

NanoMQ 桥接示例

下载安装 NanoMQ：

git clone https://github.com/emqx/nanomq.git
cd nanomq ; git submodule update --init --recursive

mkdir build && cd build
cmake -G Ninja -DNNG_ENABLE_QUIC=ON ..
sudo ninja install

开启 QUIC 桥接功能的 NanoMQ 编译安装完成后，可以在配置文件/etc/nanomq.conf中配置 MQTT over QUIC 桥接功能和对应的主题，使用 mqtt-quic 作为 URL 前缀即是采用 QUIC 作为 MQTT 的传输层：

## Bridge address: host:port .
##
## Value: String
## Example: ## Example: mqtt-tcp://broker.emqx.io:1883 （这是标准MQTT over TCP）
bridge.mqtt.emqx.address=mqtt-quic://54.75.171.11:14567

MQTT over QUIC CLI 工具

NanoMQ 还提供了 nanomq_cli ，其中包含有 MQTT over QUIC 的客户端工具供用户测试 EMQX 5.0 的MQTT over QUIC 功能：

nanomq_cli quic --help
Usage: quic conn <url>
       quic sub  <url> <qos> <topic>
       quic pub  <url> <qos> <topic> <data>

## subscribe example
nanomq_cli quic sub mqtt-quic://54.75.171.11:14567 2 msg

综上所述，您可以直接将 NanoSDK 集成到项目中，亦可以搭配 NanoMQ 使用，实现设备侧到云端的 QUIC 接入。

将 emqtt-bench 用于 QUIC 性能测试

emqtt-bench 是一个 MQTT 性能基准测试工具，其同样提供了 QUIC 支持，我们用它完成了 MQTT over QUIC vs TCP/TLS 的性能对比测试。用户可以利用其做应用的 Benchmark，或在实际环境中验证 MQTT over QUIC 的性能与收益。

编译 emqtt-bench

编译要求有 Erlang 环境，以 macOS 为例安装 Erlang 和 Coreutils：

brew install coreutils 
brew install erlang@24

通过源码编译 emqtt-bench

git clone https://github.com/emqx/emqtt-bench.git 
cd emqtt-bench 
CMAKE_BUILD_TYPE=Debug BUILD_WITH_QUIC=1 make

编译成功有以下提示：

...
===> Warnings generating release:
*WARNING* Missing application sasl. Can not upgrade with this release
===> Release successfully assembled: _build/emqtt_bench/rel/emqtt_bench
===> Building release tarball emqtt_bench-0.3+build.193.ref249f7f8.tar.gz...
===> Tarball successfully created: _build/emqtt_bench/rel/emqtt_bench/emqtt_bench-0.3+build.193.ref249f7f8.tar.gz
可能会遇到如下错误，忽略即可： 
/Users/patilso/emqtt-bench/scripts/rename-package.sh: line 9: gsed: command not found 
/Users/patilso/emqtt-bench/scripts/rename-package.sh: line 9: gsed: command not found 
/Users/patilso/emqtt-bench/scripts/rename-package.sh: line 9: gsed: command not found 
/Users/patilso/emqtt-bench/scripts/rename-package.sh: line 9: gsed: command not found

测试 QUIC

进入编译输出目录：

cd _build/emqtt_bench/rel/emqtt_bench/bin

通过指定 --quic 选项以使用 QUIC 协议发起连接并进行订阅，此处使用 10 个客户端订阅 t/1 主题：

./emqtt_bench sub -p 14567 --quic -t t/1 -c 10

新开另一个窗口，同样使用 QUIC 协议连接并进行发布测试：

./emqtt_bench pub -p 14567 --quic -t t/1 -c 1

此时将进入 1 pub 10 sub 的性能测试：

QUIC 性能测试 图4.png

查看本地 UDP 14567 端口使用情况：

$ lsof -nP -iUDP | grep 14567

com.docke 29372 emqx   76u  IPv6 0xea2092701c033ba9      0t0  UDP *:14567
beam.smp  50496 emqx   39u  IPv6 0xea2092701c014eb9      0t0  UDP [::1]:52335->[::1]:14567
beam.smp  50496 emqx   40u  IPv6 0xea2092701c017689      0t0  UDP [::1]:56709->[::1]:14567
beam.smp  50496 emqx   41u  IPv6 0xea2092701c0151c9      0t0  UDP [::1]:52175->[::1]:14567
beam.smp  50496 emqx   42u  IPv6 0xea2092701c0157e9      0t0  UDP [::1]:54050->[::1]:14567
beam.smp  50496 emqx   43u  IPv6 0xea2092701c015af9      0t0  UDP [::1]:58548->[::1]:14567
beam.smp  50496 emqx   44u  IPv6 0xea2092701c013639      0t0  UDP [::1]:52819->[::1]:14567
beam.smp  50496 emqx   45u  IPv6 0xea2092701c016119      0t0  UDP [::1]:57351->[::1]:14567
beam.smp  50496 emqx   46u  IPv6 0xea2092701c017999      0t0  UDP [::1]:52353->[::1]:14567
beam.smp  50496 emqx   47u  IPv6 0xea2092701c017ca9      0t0  UDP [::1]:57640->[::1]:14567
beam.smp  50496 emqx   48u  IPv6 0xea2092701c014ba9      0t0  UDP [::1]:55992->[::1]:14567
beam.smp  51015 emqx   39u  IPv6 0xea2092701c017069      0t0  UDP [::1]:64686->[::1]:14567

如果你对 emqtt-bench 感兴趣，可以查看更多命令行帮助：

./emqtt_bench pub –help 

./emqtt_bench conn –help 

./emqtt_bench --help

结语

以上就是 MQTT over QUIC 的初步体验，可见从 API 和管理层面，客户端库以及 EMQX 能够做到与 MQTT 一致的体验，仅替换传输层以充分利用 QUIC 特性，这极大方便了开发者的使用以及 MQTT over QUIC 的普及。

随着对 MQTT over QUIC 在实际场景中的深入使用，用户也将能感受到其所具备的更高级的拥塞控制、连接平滑迁移、端到端加密、减少握手延迟等优势特性。在后续的推送中，我们也将对这些特性背后的技术原理以及最佳实践进行详细解读，敬请关注。

版权声明： 本文为 EMQ 原创，转载请注明出处。

原文链接：https://www.emqx.com/zh/blog/getting-started-with-mqtt-over-quic-from-scratch

文章标签：
物联网平台
云消息队列 MQ
Java
C语言
Python
iOS开发
开发工具
测试技术
MacOS
网络协议
物联网
API
关键词：
云消息队列 MQ协议
物联网平台mqtt
物联网平台协议
云消息队列 MQ物联网
mqtt物联网平台
相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台，通过云产品流转到函数计算FC，调用钉钉群机器人API，实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品，7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前，请先开通下方两个云产品，让学习更流畅： IoT物联网平台：https://iot.console.aliyun.com/ LinkWAN物联网络管理平台：https://linkwan.console.aliyun.com/service-open
EMQ
目录
相关文章
东方睿赢
|
1月前
|
网络协议 物联网 网络性能优化
物联网江湖风云变幻！MQTT CoAP RESTful/HTTP XMPP四大门派谁主沉浮？
【9月更文挑战第3天】物联网（IoT）的兴起催生了多种通信协议，如MQTT、CoAP、RESTful/HTTP和XMPP，各自适用于不同场景。本文将对比这些协议的特点、优缺点，并提供示例代码。MQTT轻量级且支持QoS，适合大规模部署；CoAP基于UDP，适用于低功耗网络；RESTful/HTTP易于集成但不适合资源受限设备；XMPP支持双向通信，适合复杂交互应用。通过本文，开发者可更好地选择合适的物联网通信协议。
东方睿赢
34 2
蓝易云
|
1月前
|
消息中间件 监控 物联网
MQTT协议对接及RabbitMQ的使用记录
通过合理对接MQTT协议并利用RabbitMQ的强大功能，可以构建一个高效、可靠的消息通信系统。无论是物联网设备间的通信还是微服务架构下的服务间消息传递，MQTT和RabbitMQ的组合都提供了一个强有力的解决方案。在实际应用中，应根据具体需求和环境进行适当的配置和优化，以发挥出这两个技术的最大效能。
蓝易云
121 0
东方睿赢
|
2月前
|
网络协议 物联网 网络性能优化
物联网江湖风云变幻！MQTT CoAP RESTful/HTTP XMPP四大门派谁主沉浮？
【8月更文挑战第14天】本文概览了MQTT、CoAP、RESTful/HTTP及XMPP四种物联网通信协议。MQTT采用发布/订阅模式，轻量高效；CoAP针对资源受限设备，基于UDP，低延迟；RESTful/HTTP易于集成现有Web基础设施；XMPP支持双向通信，扩展性强。每种协议均附有示例代码，助您根据不同场景和设备特性作出最佳选择。
东方睿赢
34 5
土木林森
|
2月前
|
物联网 C# 智能硬件
智能家居新篇章：WPF与物联网的智慧碰撞——通过MQTT协议连接与控制智能设备，打造现代科技生活的完美体验
【8月更文挑战第31天】物联网（IoT）技术的发展使智能家居设备成为现代家庭的一部分。通过物联网，家用电器和传感器可以互联互通，实现远程控制和状态监测等功能。本文将探讨如何在Windows Presentation Foundation（WPF）应用中集成物联网技术，通过具体示例代码展示其实现过程。文章首先介绍了MQTT协议及其在智能家居中的应用，并详细描述了使用Wi-Fi连接方式的原因。随后，通过安装Paho MQTT客户端库并创建MQTT客户端实例，演示了如何编写一个简单的WPF应用程序来控制智能灯泡。
土木林森
75 0
土木林森
|
2月前
|
物联网 网络性能优化 Python
"掌握MQTT协议，开启物联网通信新篇章——揭秘轻量级消息传输背后的力量！"
【8月更文挑战第21天】MQTT是一种轻量级的消息传输协议，以其低功耗、低带宽的特点在物联网和移动应用领域广泛应用。基于发布/订阅模型，MQTT支持三种服务质量级别，非常适合受限网络环境。本文详细阐述了MQTT的工作原理及特点，并提供了使用Python `paho-mqtt`库实现的发布与订阅示例代码，帮助读者快速掌握MQTT的应用技巧。
土木林森
62 0
三分钟热度的鱼
|
3月前
|
消息中间件 C语言 RocketMQ
消息队列 MQ操作报错合集之出现"Connection reset by peer"的错误，该如何处理
消息队列（MQ）是一种用于异步通信和解耦的应用程序间消息传递的服务，广泛应用于分布式系统中。针对不同的MQ产品，如阿里云的RocketMQ、RabbitMQ等，它们在实现上述场景时可能会有不同的特性和优势，比如RocketMQ强调高吞吐量、低延迟和高可用性，适合大规模分布式系统；而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集，这些场景涵盖了多种行业和业务需求。
三分钟热度的鱼
228 0
aliyun7689123603-22772
|
4天前
|
消息中间件 存储 弹性计算
云消息队列RabbitMQ实践
云消息队列RabbitMQ实践
aliyun7689123603-22772
33 4
DreamSpark
|
6天前
|
消息中间件 安全 Java
云消息队列RabbitMQ实践解决方案评测
一文带你详细了解云消息队列RabbitMQ实践的解决方案优与劣
DreamSpark
30 4
叶一一
|
10天前
|
消息中间件 存储 监控
解决方案 | 云消息队列RabbitMQ实践
在实际业务中，网站因消息堆积和高流量脉冲导致系统故障。为解决这些问题，云消息队列 RabbitMQ 版提供高性能的消息处理和海量消息堆积能力，确保系统在流量高峰时仍能稳定运行。迁移前需进行技术能力和成本效益评估，包括功能、性能、限制值及费用等方面。迁移步骤包括元数据迁移、创建用户、网络打通和数据迁移。
叶一一
45 4
郑小健
|
1月前
|
消息中间件 运维 监控
云消息队列RabbitMQ实践解决方案评测报告
本报告旨在对《云消息队列RabbitMQ实践》解决方案进行综合评测。通过对该方案的原理理解、部署体验、设计验证以及实际应用价值等方面进行全面分析，为用户提供详尽的反馈与建议。
郑小健
62 16

物联网

热门文章

最新文章

  • 1
    IoT SaaS加速器——助力阿尔茨海默病人护理
  • 2
    一个简单算法可以帮助物联网,金融 用户 节约98%的数据存储成本 (PostgreSQL,Greenplum帮你做到)
  • 3
    NB-IOT物联网平台是如何工作的
  • 4
    看见源码：立刻体验AliOS Things 3.0 ！
  • 5
    无所不在的JavaScript与物联网设备
  • 6
    【云栖大会】三个物联网案例，看懂阿里巴巴为何布局最难的物联网道路
  • 7
    物联网技术在农业领域的应用
  • 8
    TableStore+OSS：物联网数据的备份系统实践
  • 9
    【物联网】 AR9344开发环境的搭建和编译固件
  • 10
    WIN10系统上，新建AliOS Things项目
  • 1
    【QT速成】半小时入门QT6之QT前置知识扫盲（二）
    24
  • 2
    物联网卡不能使用在什么设备上
    16
  • 3
    智慧停车场车位引导及反向寻车解决方案
    8
  • 4
    13位物联网卡与11位物联网卡有什么不同
    21
  • 5
    浅谈蓝牙演进之路：从诞生到普及
    23
  • 6
    箭头函数可以使用哪些方式定义
    12
  • 7
    ToB项目身份认证AD集成（三完）：利用ldap.js实现与windows AD对接实现用户搜索、认证、密码修改等功能 - 以及针对中文转义问题的补丁方法
    11
  • 8
    ToB项目身份认证AD集成（二）：快速搞定window server 2003部署AD域服务并支持ssl
    12
  • 9
    行业物联网卡的分类
    10
  • 10
    ToB项目身份认证AD集成（一）：基于目录的用户管理、LDAP和Active Directory简述
    17

    • 相关产品

  • 物联网平台
    文档详情 产品详情

    • 相关课程

    更多
  • 消息队列 RocketMQ 消息集成
  • 消息队列 MNS 入门课程
  • RocketMQ知识精讲与项目实战（第一阶段）
  • RocketMQ知识精讲与项目实战（第二阶段）
  • RocketMQ知识精讲与项目实战（第三阶段）
  • 微服务实战-RocketMQ Binder

    • 相关电子书

    更多
  • RocketMQ Client-GO 介绍
  • RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • 基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台

    • 相关实验场景

    更多
  • SAE 极速部署专属 AI 证件照神器
  • 温控器设备接入IoT物联网平台与数据管理实践
  • 使用物联网平台远程管理运维设备
  • 阿里云IoT小程序应用开发和组件实践
  • 搭建IoT小程序开发环境，创建一个应用
  • 高性能特性体验：ePQ 的详解与实战
    • 下一篇
    AI助理直击要害，从繁复中提炼精华——使用CDN加速访问OSS存储的图片