AI 助理
备案控制台
开发者社区 物联网 文章 正文

从零开始上手 MQTT over QUIC：快速体验下一代物联网标准协议

2022-11-28 648
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 为了更多用户能体验到MQTT over QUIC为物联网消息传输带来的提升，我们将通过本文指导您如何从零开始上手使用MQTT over QUIC。

前言

QUIC(RFC9000) 是下一代互联网协议 HTTP/3 的底层传输协议，与 TCP/TLS 协议相比，它在减少连接开销与消息延迟的同时，为现代移动互联网提供了有效灵活的传输层。

EMQX 5.0 是首个将 QUIC 引入 MQTT 的开创性产品。在长期的客户服务和技术探索中，我们注意到 QUIC 的特性能够和一些物联网场景完美契合，于是尝试将 MQTT 的传输层替换成 QUIC，由此诞生了 MQTT over QUIC。

正如 MQTT over QUIC：物联网消息传输还有更多可能 一文所述，在网络不稳定、连接多变的物联网场景下，QUIC 低连接开销和多路径支持的特性就显示出了其领先的优势。测试数据也表明，基于 QUIC 0 RTT/1 RTT 重连/新建能力，MQTT over QUIC 能够在弱网与不固定的网络通路中有效提升用户体验。

EMQ 正以世界知名开源和开放标准机构 OASIS 的 Foundational Sponsor 身份积极推动 MQTT over QUIC 的标准化落地。事实上，目前已经有一部分客户开始尝试将这一新特性投入使用并获得了良好的反馈。为了更多用户能体验到 MQTT over QUIC 为物联网消息传输带来的提升，我们将通过本文指导您如何从零开始上手使用 MQTT over QUIC。

启用 MQTT over QUIC

MQTT over QUIC 特性随 EMQX 5.0 发布。由于是实验性功能，在 CentOS 6、macOS 以及 Windows 系统下并未包含 QUIC 编译，请自行从源码编译并在编译前指定环境变量 BUILD_WITH_QUIC=1 ，其他操作系统和平台则可以正常使用。

MQTT over QUIC 默认不可用，请通过以下配置手动开启。

  1. 打开配置文件 etc/emqx.conf，取消 listeners.quic.default 配置组的注释（如果没有此配置组请手动添加）：

    # etc/emqx.conf
listeners.quic.default {
  enabled = true
  bind = "0.0.0.0:14567"
  max_connections = 1024000
  keyfile = "etc/certs/key.pem"
  certfile = "etc/certs/cert.pem"
}
  2. 该配置表示启用 QUIC 监听器并绑定 UDP 14567 端口，保存成功后请重启 EMQX 以应用配置。

  3. 执行 emqx_ctl listeners 命令，可在结果中看到 MQTT over QUIC 监听器已启用：

    > emqx_ctl listeners
quic:default
  listen_on       : :14567
  acceptors       : 16
  proxy_protocol  : undefined
  running         : true
ssl:default
  listen_on       : 0.0.0.0:8883
  acceptors       : 16
  proxy_protocol  : false
  running         : true
  current_conn    : 0
  max_conns       : 512000

您也可以使用 Docker，通过环境变量选取 UDP 14567 作为 QUIC 端口快速体验：

docker run -d --name emqx \
  -p 1883:1883 -p 8083:8083 \
  -p 8084:8084 -p 8883:8883 \
  -p 18083:18083 \
  -p 14567:14567/udp \
  -e EMQX_LISTENERS__QUIC__DEFAULT__keyfile="etc/certs/key.pem" \
  -e EMQX_LISTENERS__QUIC__DEFAULT__certfile="etc/certs/cert.pem" \
  -e EMQX_LISTENERS__QUIC__DEFAULT__ENABLED=true \
emqx/emqx:5.0.10

MQTT over QUIC 客户端与工具

相比于 MQTT 而言，目前 MQTT over QUIC 仍然缺少完整的客户端库和工具链支持。

我们针对 MQTT over QUIC 的适用场景，计划提供 C、Java、Python、Golang 等多个语言的客户端库并按照优先级逐个支持，确保嵌入式硬件等这类契合场景的业务能够率先将 QUIC 利用起来。

已有的客户端 SDK

  • NanoSDK：由 NanoMQ 团队发布的 C 语言的 MQTT SDK，除 MQTT over QUIC 外还支持 WebSocket、nanomsg/SP 等多协议
  • NanoSDK-Python：NanoSDK 的 Python 语言 binding
  • NanoSDK-Java：NanoSDK 的 Java JNA binding
  • emqtt：Erlang 语言的 MQTT 客户端库，支持 QUIC

除了客户端库之外，EMQ 还在边缘计算产品 NanoMQ 中提供了 MQTT over QUIC 桥接支持，在特定的应用中您可以借助 NanoMQ 实现边缘数据通过 QUIC 桥接上云，无需过多开发集成即可应用 MQTT over QUIC 的特性。

问题与解决

在开发中，考虑到 QUIC 基于 UDP 协议，目前许多运营商仍然对 UDP 包有特殊的路由策略，这往往导致 QUIC 连接无法成功建立或一直被丢包。

因此 MQTT over QUIC 客户端设计支持了 fallback 能力：API 层能够使用统一的操作编写业务，传输层则根据网络情况实时切换，当 QUIC 不可用时自动切换为 TCP/TLS 1.2，确保各类网络环境下业务都能正常运行。

通过 NanoSDK 完成 MQTT over QUIC 连接

NanoSDK 基于 MsQuic 项目率先实现了第一个 C 语言的 MQTT over QUIC SDK，能无缝兼容 EMQX 5.0。内部采用全异步 IO 设计，将 QUIC Stream 和 MQTT 连接映射绑定，并内置实现了 0RTT 快速握手重连功能，支持多核任务并行。

MQTT over QUIC SDK 图1.png

NanoSDK 使用示例

API 方面保持了之前的使用习惯，一行代码即可基于 QUIC 创建 MQTT 客户端：

## Create MQTT over Quic client with NanoSDK
nng_mqtt_quic_client_open(&socket, url);

消息示例代码请参考：NanoSDK

编译后可以通过以下命令连接 EMQX 5.0 的 14567 端口进行测试。

quic_client sub/pub mqtt-quic://54.75.171.11:14567 topic msg

NanoSDK 也提供 Java 和 Python 的 binding。

通过 NanoMQ 桥接完成 MQTT 3.1.1/5.0 与 MQTT over QUIC 的转换兼容

NanoMQ 是一款超轻量、高性能且跨平台的边缘 MQTT 消息引擎，兼具多协议消息总线功能，支持 MQTT over QUIC 桥接功能。它能够将传统 MQTT 客户端的数据转换成 QUIC 数据包并发给云端的 EMQX，从而为无法集成或找到合适 MQTT over QUIC SDK 的端侧设备和难以修改固件的嵌入式设备提供在 IoT 场景利用 QUIC 协议优势的捷径，降低使用门槛。

NanoMQ 图2.png

在需要与云端 MQTT 服务进行数据同步的各种物联网场景中，通过 NanoMQ 的多协议接入能力，您可以将其作为边缘消息总线和统一的数据空间，统一汇聚诸如 HTTP、MQTT 3.1.1/5.0、WebSocket、nanomsg/nng 和 ZeroMQ 等常用的 broker/brokerless 消息协议，再由 NanoMQ 内部强大的 Actor 消息处理模型转化成标准的 MQTT 消息后，通过 QUIC 传输层上云传输。

借此充分利用 MQTT over QUIC 0RTT 快速重连和被动地址切换等功能来克服网际漫游、弱网传输和 TCP 队头阻塞等各类常见的物联网连接问题。您还可以通过 NanoMQ 的规则引擎对数据做重定向、本地缓存或持久化。

依靠 EMQX+NanoMQ 的云边一体化的消息架构，用户能够快速且低成本的在泛物联网场景中完成跨时空地域的数据采集和同步需求。

EMQX+NanoMQ 图3.png

值得一提的是，NanoMQ 支持 QUIC 连接失败时自动切换至标准 MQTT over TCP 桥接的能力，这能够确保您的使用不受网络环境限制。

NanoMQ 桥接示例

下载安装 NanoMQ：

git clone https://github.com/emqx/nanomq.git
cd nanomq ; git submodule update --init --recursive

mkdir build && cd build
cmake -G Ninja -DNNG_ENABLE_QUIC=ON ..
sudo ninja install

开启 QUIC 桥接功能的 NanoMQ 编译安装完成后，可以在配置文件/etc/nanomq.conf中配置 MQTT over QUIC 桥接功能和对应的主题，使用 mqtt-quic 作为 URL 前缀即是采用 QUIC 作为 MQTT 的传输层：

## Bridge address: host:port .
##
## Value: String
## Example: ## Example: mqtt-tcp://broker.emqx.io:1883 （这是标准MQTT over TCP）
bridge.mqtt.emqx.address=mqtt-quic://54.75.171.11:14567

MQTT over QUIC CLI 工具

NanoMQ 还提供了 nanomq_cli ，其中包含有 MQTT over QUIC 的客户端工具供用户测试 EMQX 5.0 的MQTT over QUIC 功能：

nanomq_cli quic --help
Usage: quic conn <url>
       quic sub  <url> <qos> <topic>
       quic pub  <url> <qos> <topic> <data>

## subscribe example
nanomq_cli quic sub mqtt-quic://54.75.171.11:14567 2 msg

综上所述，您可以直接将 NanoSDK 集成到项目中，亦可以搭配 NanoMQ 使用，实现设备侧到云端的 QUIC 接入。

将 emqtt-bench 用于 QUIC 性能测试

emqtt-bench 是一个 MQTT 性能基准测试工具，其同样提供了 QUIC 支持，我们用它完成了 MQTT over QUIC vs TCP/TLS 的性能对比测试。用户可以利用其做应用的 Benchmark，或在实际环境中验证 MQTT over QUIC 的性能与收益。

编译 emqtt-bench

编译要求有 Erlang 环境，以 macOS 为例安装 Erlang 和 Coreutils：

brew install coreutils 
brew install erlang@24

通过源码编译 emqtt-bench

git clone https://github.com/emqx/emqtt-bench.git 
cd emqtt-bench 
CMAKE_BUILD_TYPE=Debug BUILD_WITH_QUIC=1 make

编译成功有以下提示：

...
===> Warnings generating release:
*WARNING* Missing application sasl. Can not upgrade with this release
===> Release successfully assembled: _build/emqtt_bench/rel/emqtt_bench
===> Building release tarball emqtt_bench-0.3+build.193.ref249f7f8.tar.gz...
===> Tarball successfully created: _build/emqtt_bench/rel/emqtt_bench/emqtt_bench-0.3+build.193.ref249f7f8.tar.gz
可能会遇到如下错误，忽略即可： 
/Users/patilso/emqtt-bench/scripts/rename-package.sh: line 9: gsed: command not found 
/Users/patilso/emqtt-bench/scripts/rename-package.sh: line 9: gsed: command not found 
/Users/patilso/emqtt-bench/scripts/rename-package.sh: line 9: gsed: command not found 
/Users/patilso/emqtt-bench/scripts/rename-package.sh: line 9: gsed: command not found

测试 QUIC

进入编译输出目录：

cd _build/emqtt_bench/rel/emqtt_bench/bin

通过指定 --quic 选项以使用 QUIC 协议发起连接并进行订阅，此处使用 10 个客户端订阅 t/1 主题：

./emqtt_bench sub -p 14567 --quic -t t/1 -c 10

新开另一个窗口，同样使用 QUIC 协议连接并进行发布测试：

./emqtt_bench pub -p 14567 --quic -t t/1 -c 1

此时将进入 1 pub 10 sub 的性能测试：

QUIC 性能测试 图4.png

查看本地 UDP 14567 端口使用情况：

$ lsof -nP -iUDP | grep 14567

com.docke 29372 emqx   76u  IPv6 0xea2092701c033ba9      0t0  UDP *:14567
beam.smp  50496 emqx   39u  IPv6 0xea2092701c014eb9      0t0  UDP [::1]:52335->[::1]:14567
beam.smp  50496 emqx   40u  IPv6 0xea2092701c017689      0t0  UDP [::1]:56709->[::1]:14567
beam.smp  50496 emqx   41u  IPv6 0xea2092701c0151c9      0t0  UDP [::1]:52175->[::1]:14567
beam.smp  50496 emqx   42u  IPv6 0xea2092701c0157e9      0t0  UDP [::1]:54050->[::1]:14567
beam.smp  50496 emqx   43u  IPv6 0xea2092701c015af9      0t0  UDP [::1]:58548->[::1]:14567
beam.smp  50496 emqx   44u  IPv6 0xea2092701c013639      0t0  UDP [::1]:52819->[::1]:14567
beam.smp  50496 emqx   45u  IPv6 0xea2092701c016119      0t0  UDP [::1]:57351->[::1]:14567
beam.smp  50496 emqx   46u  IPv6 0xea2092701c017999      0t0  UDP [::1]:52353->[::1]:14567
beam.smp  50496 emqx   47u  IPv6 0xea2092701c017ca9      0t0  UDP [::1]:57640->[::1]:14567
beam.smp  50496 emqx   48u  IPv6 0xea2092701c014ba9      0t0  UDP [::1]:55992->[::1]:14567
beam.smp  51015 emqx   39u  IPv6 0xea2092701c017069      0t0  UDP [::1]:64686->[::1]:14567

如果你对 emqtt-bench 感兴趣，可以查看更多命令行帮助：

./emqtt_bench pub –help 

./emqtt_bench conn –help 

./emqtt_bench --help

结语

以上就是 MQTT over QUIC 的初步体验，可见从 API 和管理层面，客户端库以及 EMQX 能够做到与 MQTT 一致的体验，仅替换传输层以充分利用 QUIC 特性，这极大方便了开发者的使用以及 MQTT over QUIC 的普及。

随着对 MQTT over QUIC 在实际场景中的深入使用，用户也将能感受到其所具备的更高级的拥塞控制、连接平滑迁移、端到端加密、减少握手延迟等优势特性。在后续的推送中，我们也将对这些特性背后的技术原理以及最佳实践进行详细解读，敬请关注。

版权声明： 本文为 EMQ 原创，转载请注明出处。

原文链接：https://www.emqx.com/zh/blog/getting-started-with-mqtt-over-quic-from-scratch

文章标签：
物联网平台
云消息队列 MQ
Java
C语言
Python
iOS开发
开发工具
测试技术
MacOS
网络协议
物联网
API
关键词：
物联网平台协议
物联网平台mqtt
云消息队列 MQ协议
云消息队列 MQ物联网
mqtt物联网平台
相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台，通过云产品流转到函数计算FC，调用钉钉群机器人API，实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品，7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前，请先开通下方两个云产品，让学习更流畅： IoT物联网平台：https://iot.console.aliyun.com/ LinkWAN物联网络管理平台：https://linkwan.console.aliyun.com/service-open
EMQ
目录
相关文章
蓝易云
|
20天前
|
数据采集 传感器 监控
多协议网关BL110钡铼6路RS485转MQTT协议云网关
BL110钡铼6路RS485转MQTT协议云网关是一款高性能、易配置的工业级设备，适用于各种需要远程监控和数据采集的物联网应用场景。通过将传统RS485设备的数据转换为MQTT协议并上传至云平台，实现了设备的远程管理和智能控制，极大地提升了系统的管理效率和响应速度。
蓝易云
26 2
c的前世今生
|
1月前
|
传感器 消息中间件 物联网
常用的物联网协议
常用的物联网协议包括：MQTT（消息队列遥测传输）、CoAP（受限应用协议）、HTTP/HTTPS、LWM2M（轻量级机器对机器）和Zigbee等。这些协议在不同的应用场景中发挥着重要作用，如数据传输、设备管理等。
c的前世今生
83 2
龙大吉
|
2月前
|
网络协议 物联网 网络性能优化
物联网协议比较 MQTT CoAP RESTful/HTTP XMPP
【10月更文挑战第18天】本文介绍了物联网领域中四种主要的通信协议：MQTT、CoAP、RESTful/HTTP和XMPP，分别从其特点、应用场景及优缺点进行了详细对比，并提供了简单的示例代码。适合开发者根据具体需求选择合适的协议。
龙大吉
67 5
蓝易云
|
1月前
|
消息中间件 监控 物联网
物联网8大协议介绍及对比
根据具体的应用需求，选择合适的协议可以大幅提升系统的性能和可靠性。希望本文能为您在物联网协议的选择和应用中提供有价值的参考。
蓝易云
223 0
蓝易云
|
3月前
|
消息中间件 监控 物联网
MQTT协议对接及RabbitMQ的使用记录
通过合理对接MQTT协议并利用RabbitMQ的强大功能，可以构建一个高效、可靠的消息通信系统。无论是物联网设备间的通信还是微服务架构下的服务间消息传递，MQTT和RabbitMQ的组合都提供了一个强有力的解决方案。在实际应用中，应根据具体需求和环境进行适当的配置和优化，以发挥出这两个技术的最大效能。
蓝易云
206 0
东方睿赢
|
3月前
|
网络协议 物联网 网络性能优化
物联网江湖风云变幻！MQTT CoAP RESTful/HTTP XMPP四大门派谁主沉浮？
【9月更文挑战第3天】物联网（IoT）的兴起催生了多种通信协议，如MQTT、CoAP、RESTful/HTTP和XMPP，各自适用于不同场景。本文将对比这些协议的特点、优缺点，并提供示例代码。MQTT轻量级且支持QoS，适合大规模部署；CoAP基于UDP，适用于低功耗网络；RESTful/HTTP易于集成但不适合资源受限设备；XMPP支持双向通信，适合复杂交互应用。通过本文，开发者可更好地选择合适的物联网通信协议。
东方睿赢
45 2
土木林森
|
4月前
|
物联网 C# 智能硬件
智能家居新篇章：WPF与物联网的智慧碰撞——通过MQTT协议连接与控制智能设备，打造现代科技生活的完美体验
【8月更文挑战第31天】物联网（IoT）技术的发展使智能家居设备成为现代家庭的一部分。通过物联网，家用电器和传感器可以互联互通，实现远程控制和状态监测等功能。本文将探讨如何在Windows Presentation Foundation（WPF）应用中集成物联网技术，通过具体示例代码展示其实现过程。文章首先介绍了MQTT协议及其在智能家居中的应用，并详细描述了使用Wi-Fi连接方式的原因。随后，通过安装Paho MQTT客户端库并创建MQTT客户端实例，演示了如何编写一个简单的WPF应用程序来控制智能灯泡。
土木林森
151 0
那年春天
|
1月前
|
存储 安全 物联网
政府在推动物联网技术标准和规范的统一方面可以发挥哪些作用？
政府在推动物联网技术标准和规范的统一方面可以发挥哪些作用？
那年春天
101 50
那年春天
|
1月前
|
安全 物联网 物联网安全
制定统一的物联网技术标准和规范的难点有哪些？
制定统一的物联网技术标准和规范的难点有哪些？
那年春天
51 2
技术混子
|
1月前
|
供应链 物联网 区块链
探索未来技术潮流：区块链、物联网、虚拟现实的融合与创新
【10月更文挑战第41天】随着科技的不断进步，新技术如区块链、物联网、虚拟现实等正在逐步渗透到我们的日常生活中。本文将深入探讨这些技术的发展趋势和应用场景，以及它们如何相互融合，共同推动社会的进步。我们将通过具体的代码示例，展示这些技术在实际应用中的潜力和价值。无论你是科技爱好者，还是对未来充满好奇的探索者，这篇文章都将为你打开一扇通往未来的窗口。
技术混子
100 56

物联网

热门文章

最新文章

  • 1
    IoT SaaS加速器——助力阿尔茨海默病人护理
  • 2
    PostgreSQL "物联网"应用 - 1 实时流式数据处理案例(万亿每天)
  • 3
    物联网平台实用技巧：调用API获取设备状态
  • 4
    手机秒变IoT设备?——巧妙利用阿里云物联网平台
  • 5
    uDevice Center - IoT在线开发板/设备平台
  • 6
    【阿里云IoT+YF3300】1.时代大背景下的阿里云IoT物联网的现状和未来
  • 7
    NB-IOT物联网平台是如何工作的
  • 8
    ALink协议是最简单的通信协议
  • 9
    用51单片机做一个物联网温度计+远程开关
  • 10
    直播学习-AliOS Things 3.0
  • 1
    《docker高级篇（大厂进阶）：3.Docker微服务实战》
    32
  • 2
    「Mac畅玩鸿蒙与硬件46」UI互动应用篇23 - 自定义天气预报组件
    74
  • 3
    docker基础篇：安装tomcat
    93
  • 4
    「Mac畅玩鸿蒙与硬件45」UI互动应用篇22 - 评分统计工具
    108
  • 5
    「Mac畅玩鸿蒙与硬件44」UI互动应用篇21 - 随机励志语录生成器
    62
  • 6
    docker高级篇（大厂进阶）：安装mysql主从复制
    52
  • 7
    三分钟轻松搞定固定资产盘点--首码RFID资产盘点小助手
    28
  • 8
    docker高级篇（大厂进阶）：安装redis集群
    53
  • 9
    《docker高级篇（大厂进阶）：4.Docker网络》包括：是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
    94
  • 10
    本地部署MES生产管理系统，贝锐花生壳快速实现安全远程访问
    58

    • 相关产品

  • 物联网平台
    文档详情 产品详情

    • 相关课程

    更多
  • 消息队列 RocketMQ 消息集成
  • 消息队列 MNS 入门课程
  • RocketMQ知识精讲与项目实战（第一阶段）
  • RocketMQ知识精讲与项目实战（第二阶段）
  • RocketMQ知识精讲与项目实战（第三阶段）
  • 微服务实战-RocketMQ Binder

    • 相关电子书

    更多
  • RocketMQ Client-GO 介绍
  • RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • 基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台

    • 相关实验场景

    更多
  • 温控器设备接入IoT物联网平台与数据管理实践
  • 使用物联网平台远程管理运维设备
  • 阿里云IoT小程序应用开发和组件实践
  • 搭建IoT小程序开发环境，创建一个应用
  • 高性能特性体验：ePQ 的详解与实战
  • 物联网设备安全：实时检测7类安全风险（Agentless）
    • 下一篇
    DataWorks售前咨询