EMQX+阿里云飞天洛神云网络 NLB:MQTT 消息亿级并发、千万级吞吐性能达成

简介: 近日,EMQ与阿里云旗下飞天洛神云网络展开合作,与NLB产品合作构建了新一代支持「亿级并发、千万级吞吐」的物联网消息服务系统。

随着物联网技术的发展与各行业数字化进程的推进,全球物联网设备连接规模与日俱增。一个可靠高效的物联网系统需要具备高并发、大吞吐、低时延的数据处理能力,支撑海量物联网数据的接入与分析,从而进一步挖掘数据价值。

于今年五月发布的 EMQX 5.0 版本全球首个实现了单集群 1 亿并发连接支持,成为目前世界上最具扩展性的物联网 MQTT 消息服务器。基于 EMQX 这一强大的性能突破,近日,EMQ 与阿里云旗下飞天洛神云网络展开合作,与 NLB 产品合作构建了新一代支持「亿级并发、千万级吞吐」的物联网消息服务系统。

飞天洛神云网络打造的 NLB 网络型负载均衡

NLB 网络型负载均衡是阿里云飞天洛神云网络面向万物互联时代推出的全新一代高性能四层负载均衡,支持超高性能和自动弹性能力,用户无需指定或手动调整 NLB 的实例规格,实例性能会随着业务增减自动弹性伸缩,同时采用多层次容灾架构设计保障实例的可用性,为用户在端连接云时更好地做负载均衡和应用的分发,保障网络的极致弹性,助力用户轻松构建高并发、高安全的物联网平台及应用。

NLB 网络型负载均衡在物联网领域主要应用于车联网、智能家居、智能停车、视频监控等业务场景中,NLB 作为业务入口可以同时处理海量并发连接,同时提供 TCPSSL 卸载、连接限速等能力保障物联网业务安全稳定运行。

「1 亿并发、100 Gbps 吞吐」核心性能测试

通过大规模分布式物联网 MQTT 消息服务器 EMQX 的 1 亿连接支持能力,EMQ 助力阿里云验证了飞天洛神云网络 NLB 网络型负载均衡单实例可支持超 1 亿并发连接和超 100 Gbps 吞吐的核心性能指标。

测试详情如下:

测试场景

  1. 测试 1 亿平稳连接,无订阅发布消息。
  2. 测试 QoS 0 下最大的发布接收消息速率。

测试准备

本次测试使用 EMQX 开源版 v5.0.8 构建了一个由 3 个 Core 节点和 36 个 Replicant 节点组成的集群,然后将 36 台部署了性能测试工具 emqtt_bench 的客户端通过阿里云负载均衡 NLB 接入 EMQX 集群中的 36 个 Replicant 节点进行测试。

测试架构图 图1.png

测试环境为阿里云-德国(法兰克福)区。

机器配置如下:

表格2.png

测试结果

  1. 下图展示了 EMQX 客户端以 1000*36=36000/s 的速度新增连接,直到客户端数据到达 1 亿左右。

    亿级 MQTT 连接 图3.png

  2. 共有 1 亿 80 万连接客户端,其中 5040 万客户端负责订阅,5040 万客户端负责发布。所有发布客户端与订阅客户端均由一个阿里云 NLB 连接到同一个 EMQX 集群。集群中,最大消息并发 1000 万/s,发布的报文大小平均为 400 byte。

千万级 MQTT 消息并发 图4.png
MQTT 消息并发测试.png

  1. 在 EMQX 集群一订阅端和一发布端的测试中,总共约 16000 对测试同时进行,每秒每个客户端发布的包平均为 1M,NLB 总计可稳定支持 160G BPS。

MQTT 性能测试结果 1 图5.png
MQTT 性能测试结果 2 图6.png
MQTT 性能测试结果 3 图7.png

这意味着只需要购买一个 NLB 实例、部署一个 EMQX 集群就可以满足亿级设备并发管理的需求,支撑数据业务的平滑扩张,为后续业务的发展垫定坚实基础。这也为飞天洛神云网络 NLB 在车联网、工业物联网等高规格物联网应用场景提供了可靠的技术验证。

未来展望

未来,EMQ 与阿里云飞天洛神云网络将在物联网领域继续深入合作,为更多物联网场景打造高连接、高吞吐、高并发、低延时的解决方案,让更多的物联网用户不用在并发连接、吞吐上走弯路,实现开箱即用,轻松完成「一亿连接」目标。

EMQ 也在与阿里云相关团队合作探索车联网工业、能源等重点领域的标准解决方案,并积极推进在国内外相关项目中的落地实践,敬请期待。

版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://www.emqx.com/zh/blog/achieve-mqtt-message-concurrent-performance-of-100-million-and-throughput-of-millions

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
4天前
|
机器学习/深度学习 算法 数据可视化
基于BP神经网络的32QAM解调算法matlab性能仿真
```markdown - 32QAM解调算法运用BP神经网络在matlab2022a中实现,适应复杂通信环境。 - 网络结构含输入、隐藏和输出层,利用梯度下降法优化,以交叉熵损失最小化为目标训练。 - 训练后,解调通过前向传播完成,提高在噪声和干扰中的数据恢复能力。 ``` 请注意,由于字符限制,部分详细信息(如具体图示和详细步骤)未能在摘要中包含。
|
8天前
|
机器学习/深度学习 算法 数据可视化
基于BP神经网络的16QAM解调算法matlab性能仿真
这是一个关于使用MATLAB2022a实现的16QAM解调算法的摘要。该算法基于BP神经网络,利用其非线性映射和学习能力从复数信号中估计16QAM符号,具有良好的抗噪性能。算法包括训练和测试两个阶段,通过反向传播调整网络参数以减小输出误差。核心程序涉及数据加载、可视化以及神经网络训练,评估指标为误码率(BER)和符号错误率(SER)。代码中还包含了星座图的绘制和训练曲线的展示。
|
10天前
|
机器学习/深度学习 算法
基于BP神经网络的QPSK解调算法matlab性能仿真
该文介绍了使用MATLAB2022a实现的QPSK信号BP神经网络解调算法。QPSK调制信号在复杂信道环境下受到干扰,BP网络能适应性地补偿失真,降低误码率。核心程序涉及数据分割、网络训练及性能评估,最终通过星座图和误码率曲线展示结果。
|
11天前
|
监控 Cloud Native 数据挖掘
飞天发布时刻|阿里云可观测全速演进
5 月 22 日 10:00,阿里云飞天发布时刻,阿里云应用实时监控服务 ARMS 宣布全面升级。这次发布不仅标志着阿里云技术实力的演进,更是对企业需求深刻洞察后的创新实践。
901 13
|
18天前
|
存储 安全 光互联
|
18天前
|
分布式计算 Hadoop 测试技术
|
18天前
|
分布式计算 Hadoop 测试技术
|
18天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能的带宽测试
【4月更文挑战第23天】
28 1
|
18天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能的带宽测试
【4月更文挑战第22天】
36 4
|
18天前
|
运维 网络协议 安全
【专栏】30个必备的思科设备巡检命令,涵盖设备基本信息、性能、网络连接、安全及其它重要方面
【4月更文挑战第28天】本文列举了30个必备的思科设备巡检命令,涵盖设备基本信息、性能、网络连接、安全及其它重要方面。这些命令包括`show version`、`show running-config`、`show ip route`、`show access-lists`等,对监控设备状态、排查故障及优化性能至关重要。熟悉并运用这些命令能提升网络工程师的工作效率,确保网络稳定运行。不断学习新命令以适应网络技术发展是网络工程师的必修课。