MQTT 性能测试入门:常见测试场景和指标

简介: 探讨常见的测试场景和用于评估MQTT Broker性能的关键指标。通过这些技术和见解,优化您的系统可靠性和物联网基础设施。

引言

在物联网领域,存在大量资源受限的传感器和工业控制设备运行在低带宽且不稳定的网络环境中,这使得 MQTT 成为物联网场景下理想的消息传输协议。因此,MQTT Broker 必须保证优异的性能和高度的可靠性,以满足物联网应用的要求。

在进行系统测试之前,了解基本的测试场景和性能指标至关重要。在本文中,我们将根据 EMQX 团队的测试经验提供一份详尽的说明,它也同样适用于其他 MQTT Broker 测试。

名词解释

MQTT 协议:MQTT(Message Queuing Telemetry Transport)是一种基于发布/订阅模式的轻量级消息传输协议。尽管其名称中包含"消息队列"一词,但它与消息队列并无关联。该协议因其简洁、灵活、易于实现、支持 QoS 以及消息体积小等特点而成为物联网领域的首选协议。

性能测试:性能测试是指利用测试工具模拟各种正常、峰值或异常负载条件,以评估被测试系统在各种性能指标上的表现。其目的在于验证系统是否能够满足用户的期望,并发现系统中存在的性能瓶颈和问题。

常见的 MQTT 测试场景

MQTT Broker 主要有两种测试场景:

  • 并发连接,包括并发连接数和连接速率。
  • 消息吞吐,包括消息发送和接收的吞吐量,以及一些影响生产环境系统性能的因素,如 QoS、有效载荷大小、主题通配符等。

在设计具体的性能测试场景时,特别是在进行 PoC 或部署前测试时,必须始终注意以下两点:

  • 尽量模拟真实生产环境中的使用情况。
  • 覆盖可能的峰值负载。

测试场景可以按照连接和消息吞吐量两个基本维度进行划分。

并发连接测试

MQTT 连接是一种基于 TCP 的长连接。客户端首先与 MQTT Broker 建立 TCP 连接,然后发送 MQTT 登录请求。连接成功建立后,客户端和 MQTT Broker 通过定期发送心跳包来维持连接状态。所以建立和长期维持一个MQTT连接是需要占用MQTT broker一定资源的,在高并发场景下,这种长连接会消耗 Broker 的大量资源。因此,通过性能测试,我们可以评估 MQTT Broker 在有限资源下能够承受多少并发连接。

另外,连接速率(即每秒新增连接数)越高,需要的计算资源越多,在制定测试场景时需要考虑这个因素,因为在有些场景下大量的设备会同时上线,在测试broker的能力或规划系统容量时需要这个指标。

在并发连接测试中还要考虑是否使用 TLS/SSL 加密传输,因为它会增加压力机和MQTT Broker额外的资源开销。在计划测试时,需要评估它对性能的影响。

综上所述,在 MQTT 并发连接测试中,应该考虑以下三种场景:

  1. 在固定的较低连接速率下逐步提高并发连接数,测试系统响应和资源消耗情况。这可以确定系统在给定的硬件和网络资源下能够承受的最大并发数。
  2. 在给定的并发连接数下,测试不同连接速率下系统的响应和资源消耗情况。
  3. 在设计 1) 和 2) 时,区分普通 TCP 连接和 TLS/SSL 加密连接。

消息吞吐量测试

如前文所述,MQTT 是一种基于发布/订阅模式的消息传输协议,它是一种异步协议,实现了发布-订阅 1对1,1对多,多对1这3种类型,广泛应用于各种物联网场景。因此,消息吞吐量测试应该涵盖以下三种场景:

  1. 1 对 1:发布者和订阅者的数量相等。对于每个发布者,有唯一一个订阅者订阅其发布的主题。也就是说,MQTT Broker 的消息流入速率与流出速率相同。
  2. 多对1(上报):一种典型的物联网应用场景,有大量物联网设备作为发布者,但只有少数或单个订阅者,例如大量设备上报其状态或数据。
  3. 1对多:即广播模式,少量客户端发布消息,大量设备端订阅消费消息,如控制端指令下发。

另外,在设计消息吞吐量场景时,不要忽略 QoS、消息有效载荷大小、带通配符的订阅主题等因素。不同的 QoS 对负载测试的性能和资源消耗有很大影响。有效载荷大小可以根据实际使用情况确定。

其它场景

对于其它 MQTT 功能,如共享订阅、消息转存到数据库或其他消息队列(MQ)、海量主题订阅,以及诸如众多 MQTT 客户端同时连接/断开等极端情况,可以根据实际需求进行设计并加入测试场景中。

性能度量指标

在设计好测试场景之后,还要制定度量指标来评估测试的成功与否。

在性能测试中,指标一般可以分为两大类:应用系统指标(比如 MQTT Broker 的指标)和计算资源指标。

  • 应用系统指标与用户场景和需求有关,例如响应时间(或延迟)、并发量等。
  • 计算资源指标与硬件资源消耗有关。对于我们讨论的 MQTT 测试来说,这些指标与其它软件性能测试的指标相似,例如 CPU、内存、网络、磁盘 I/O。

MQTT 系统指标与测试场景紧密相关,常见的指标如下表所示。

MQTT 系统指标

性能测试工具

大规模性能测试需要能够快速、真实、稳定地模拟高并发、高吞吐场景,同时需要管理和维护众多机器和资源,选择合适的测试工具可以起到事半功倍的效果。

EMQX 团队使用的是 emqtt_bench 和 XMeter 这两款性能测试工具。

emqtt_bench

emqtt_bench 是 EMQX 研发团队基于 Erlang 编写的一款 MQTT 协议性能测试工具。安装完成后,可以通过命令行来使用。

用法:emqtt_bench pub | sub | conn

与其它工具相比,emqtt_bench 的优点是安装和使用简单,占用的计算资源较少。但它支持的场景比较有限,需要结合其他监控工具测试指标数据

具体安装和使用方法请参考 https://github.com/emqx/emqtt-bench

XMeter

emqtt_bench 适用于开发阶段的快速性能验证。如果要进行大规模测试或正式测试,我们推荐另一款更专业的性能和负载测试工具 - XMeter。

XMeter 是一款基于 JMeter 的性能测试工具,它对JMeter的架构进行了改造,达到了完全水平扩展的能力。能够轻松处理大量数据并执行高频测试。XMeter不仅继承了 JMeter 的强大功能,还增加了许多新的特性。在测试过程中,提供丰富而实时的测试报告,让测试人员能够随时查看 MQTT 的关键性能指标,如吞吐量、响应时间和成功率等。同时XMeter 内置了监控系统,可以实时监测 MQTT Broker 的资源消耗情况。

此外,XMeter 还提供了自动化和集中化的测试资源管理能力。测试机器(容器)在测试开始时自动创建,在测试结束时自动销毁。

在整个测试阶段,XMeter 将以图形方式实时显示 MQTT 性能指标和计算资源使用情况,如图1~图5所示。

图1 XMeter报告 - 汇总信息和趋势图

XMeter报告-测试数据明细(按页面统计)

XMeter报告 - 被测监控

XMeter报告 - 测试信息

XMeter report - Test machine monitoring

XMeter 使用指南

XMeter 有两个版本可供选择。

  • XMeter 本地私有化部署。适合需要对测试环境进行全面控制,并遵守严格安全和数据隐私规定的企业。使用该版本您需要:

    • 从 GitHub - emqx/mqtt-jmeter: MQTT JMeter Plugin 下载 XMeter 团队开发并开源的 mqtt-jmeter 插件。

    • 将 jar 文件放入 JMeter 目录中。

    • 根据应用场景,在 JMeter 中编写测试脚本,如图 6 所示。

    • 将脚本上传到 XMeter 并开始对 MQTT 进行性能测试。

      图 6 用于 MQTT 测试的 JMeter 测试脚本

  • XMeter Cloud:全托管的MQTT负载测试云服务,简单易用:
    • 一键发起 MQTT 性能测试,无需手动部署测试资源
    • 仅需 3 步完成 MQTT 测试配置,免除编写场景脚本的负担
    • 测试资源云上按需创建,测试环境高度自动化,节省大量时间和人力成本

您只需在我们的网站上注册一个免费试用账号,然后按照此文档的指引,即可开启您的 XMeter 之旅。

总结

在本文中,我们讨论了几种常见的测试场景和用来评估 MQTT Broker 性能的关键指标。通过理解和应用这些测试技术和指标,您可以优化 MQTT 系统性能和可靠性,提升物联网和消息传输基础设施的整体水平。

版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://www.emqx.com/zh/blog/getting-started-with-mqtt-performance-testing-a-primer-on-scenarios-and-metrics

相关实践学习
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
数据采集 监控 机器人
浅谈网页端IM技术及相关测试方法实践(包括WebSocket性能测试)
最开始转转的客服系统体系如IM、工单以及机器人等都是使用第三方的产品。但第三方产品对于转转的业务,以及客服的效率等都产生了诸多限制,所以我们决定自研替换第三方系统。下面主要分享一下网页端IM技术及相关测试方法,我们先从了解IM系统和WebSocket开始。
635 4
|
测试技术 开发者 Python
Python单元测试入门:3个核心断言方法,帮你快速定位代码bug
本文介绍Python单元测试基础,详解`unittest`框架中的三大核心断言方法:`assertEqual`验证值相等,`assertTrue`和`assertFalse`判断条件真假。通过实例演示其用法,帮助开发者自动化检测代码逻辑,提升测试效率与可靠性。
792 1
|
测试技术 持续交付 开发者
探索自动化测试的无限可能:从入门到精通
在软件开发领域,确保产品质量是至关重要的。自动化测试作为一种高效、可靠的测试方法,正逐渐成为行业标准。本文将带你深入了解自动化测试的世界,从基础概念到实践技巧,帮助你掌握这一强大的工具。无论你是初学者还是有经验的开发者,都能从中获得宝贵的知识和启发。
|
Java 测试技术 开发者
初学者入门:掌握单元测试的基础与实践
【10月更文挑战第14天】单元测试是一种软件测试方法,它验证软件中的最小可测试单元——通常是单独的函数或类——是否按预期工作。单元测试的目标是确保每个模块在其自身范围内正确无误地运行。这些测试应该独立于其他模块,并且应该能够反复执行而不受外部环境的影响。
639 2
|
Web App开发 JavaScript 测试技术
Playwright 极速入门:1 小时搞定环境搭建与首个测试脚本
本文带你1小时快速入门Playwright,完成环境搭建并编写首个测试脚本。Playwright是微软推出的现代化Web自动化测试工具,支持Chromium、Firefox和WebKit三大浏览器引擎,具备跨平台、多语言(Python/JS/Java/C#)特性。其核心优势包括:智能自动等待机制减少失败率、内置录制工具实时生成脚本、多语言灵活选择,以及真移动端设备模拟能力,显著提升测试效率和可靠性。
|
测试技术
软考软件评测师——可靠性测试测试方法
软件可靠性是指软件在规定条件和时间内完成预定功能的能力,受运行环境、软件规模、内部结构、开发方法及可靠性投入等因素影响。失效概率指软件运行中出现失效的可能性,可靠度为不发生失效的概率,平均无失效时间(MTTF)体现软件可靠程度。案例分析显示,嵌入式软件需满足高可靠性要求,如机载软件的可靠度需达99.99%以上,通过定量指标评估其是否达标。
|
Java 测试技术 持续交付
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
本文重点讲解如何搭建App自动化测试框架的思路,而非完整源码。主要内容包括实现目的、框架设计、环境依赖和框架的主要组成部分。适用于初学者,旨在帮助其快速掌握App自动化测试的基本技能。文中详细介绍了从需求分析到技术栈选择,再到具体模块的封装与实现,包括登录、截图、日志、测试报告和邮件服务等。同时提供了运行效果的展示,便于理解和实践。
1540 4
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
|
缓存 Java 测试技术
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
使用JMeter对项目各个接口进行压力测试,并对前端进行动静分离优化,优化三级分类查询接口的性能
1309 10
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
|
测试技术 网络安全
什么是软件测试? 软件测试都有什么岗位 ?软件测试和调试的区别? 软件测试和开发的区别? 一位优秀的测试人员应该具备哪些素质? 软件测试等相关概念入门篇
文章全面介绍了软件测试的基本概念、目的、岗位分类、与开发和调试的区别,并阐述了成为优秀测试人员应具备的素质和技能。
2663 1
什么是软件测试? 软件测试都有什么岗位 ?软件测试和调试的区别? 软件测试和开发的区别? 一位优秀的测试人员应该具备哪些素质? 软件测试等相关概念入门篇
|
监控 中间件 测试技术
『软件测试5』测开岗只要求会黑白盒测试?NO!还要学会性能测试!
该文章指出软件测试工程师不仅需要掌握黑盒和白盒测试,还应该了解性能测试的重要性及其实现方法,包括负载测试、压力测试等多种性能测试类型及其在保证软件质量中的作用。
『软件测试5』测开岗只要求会黑白盒测试?NO!还要学会性能测试!