EMQX+阿里云飞天洛神云网络 NLB:MQTT 消息亿级并发、千万级吞吐性能达成

本文涉及的产品
应用型负载均衡 ALB,每月750个小时 15LCU
传统型负载均衡 CLB,每月750个小时 15LCU
网络型负载均衡 NLB,每月750个小时 15LCU
简介: 近日,EMQ与阿里云旗下飞天洛神云网络展开合作,与NLB产品合作构建了新一代支持「亿级并发、千万级吞吐」的物联网消息服务系统。

随着物联网技术的发展与各行业数字化进程的推进,全球物联网设备连接规模与日俱增。一个可靠高效的物联网系统需要具备高并发、大吞吐、低时延的数据处理能力,支撑海量物联网数据的接入与分析,从而进一步挖掘数据价值。

于今年五月发布的 EMQX 5.0 版本全球首个实现了单集群 1 亿并发连接支持,成为目前世界上最具扩展性的物联网 MQTT 消息服务器。基于 EMQX 这一强大的性能突破,近日,EMQ 与阿里云旗下飞天洛神云网络展开合作,与 NLB 产品合作构建了新一代支持「亿级并发、千万级吞吐」的物联网消息服务系统。

飞天洛神云网络打造的 NLB 网络型负载均衡

NLB 网络型负载均衡是阿里云飞天洛神云网络面向万物互联时代推出的全新一代高性能四层负载均衡,支持超高性能和自动弹性能力,用户无需指定或手动调整 NLB 的实例规格,实例性能会随着业务增减自动弹性伸缩,同时采用多层次容灾架构设计保障实例的可用性,为用户在端连接云时更好地做负载均衡和应用的分发,保障网络的极致弹性,助力用户轻松构建高并发、高安全的物联网平台及应用。

NLB 网络型负载均衡在物联网领域主要应用于车联网、智能家居、智能停车、视频监控等业务场景中,NLB 作为业务入口可以同时处理海量并发连接,同时提供 TCPSSL 卸载、连接限速等能力保障物联网业务安全稳定运行。

「1 亿并发、100 Gbps 吞吐」核心性能测试

通过大规模分布式物联网 MQTT 消息服务器 EMQX 的 1 亿连接支持能力,EMQ 助力阿里云验证了飞天洛神云网络 NLB 网络型负载均衡单实例可支持超 1 亿并发连接和超 100 Gbps 吞吐的核心性能指标。

测试详情如下:

测试场景

  1. 测试 1 亿平稳连接,无订阅发布消息。
  2. 测试 QoS 0 下最大的发布接收消息速率。

测试准备

本次测试使用 EMQX 开源版 v5.0.8 构建了一个由 3 个 Core 节点和 36 个 Replicant 节点组成的集群,然后将 36 台部署了性能测试工具 emqtt_bench 的客户端通过阿里云负载均衡 NLB 接入 EMQX 集群中的 36 个 Replicant 节点进行测试。

测试架构图 图1.png

测试环境为阿里云-德国(法兰克福)区。

机器配置如下:

表格2.png

测试结果

  1. 下图展示了 EMQX 客户端以 1000*36=36000/s 的速度新增连接,直到客户端数据到达 1 亿左右。

    亿级 MQTT 连接 图3.png

  2. 共有 1 亿 80 万连接客户端,其中 5040 万客户端负责订阅,5040 万客户端负责发布。所有发布客户端与订阅客户端均由一个阿里云 NLB 连接到同一个 EMQX 集群。集群中,最大消息并发 1000 万/s,发布的报文大小平均为 400 byte。

千万级 MQTT 消息并发 图4.png
MQTT 消息并发测试.png

  1. 在 EMQX 集群一订阅端和一发布端的测试中,总共约 16000 对测试同时进行,每秒每个客户端发布的包平均为 1M,NLB 总计可稳定支持 160G BPS。

MQTT 性能测试结果 1 图5.png
MQTT 性能测试结果 2 图6.png
MQTT 性能测试结果 3 图7.png

这意味着只需要购买一个 NLB 实例、部署一个 EMQX 集群就可以满足亿级设备并发管理的需求,支撑数据业务的平滑扩张,为后续业务的发展垫定坚实基础。这也为飞天洛神云网络 NLB 在车联网、工业物联网等高规格物联网应用场景提供了可靠的技术验证。

未来展望

未来,EMQ 与阿里云飞天洛神云网络将在物联网领域继续深入合作,为更多物联网场景打造高连接、高吞吐、高并发、低延时的解决方案,让更多的物联网用户不用在并发连接、吞吐上走弯路,实现开箱即用,轻松完成「一亿连接」目标。

EMQ 也在与阿里云相关团队合作探索车联网工业、能源等重点领域的标准解决方案,并积极推进在国内外相关项目中的落地实践,敬请期待。

版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://www.emqx.com/zh/blog/achieve-mqtt-message-concurrent-performance-of-100-million-and-throughput-of-millions

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
8天前
|
运维 供应链 安全
阿里云先知安全沙龙(武汉站) - 网络空间安全中的红蓝对抗实践
网络空间安全中的红蓝对抗场景通过模拟真实的攻防演练,帮助国家关键基础设施单位提升安全水平。具体案例包括快递单位、航空公司、一线城市及智能汽车品牌等,在演练中发现潜在攻击路径,有效识别和防范风险,确保系统稳定运行。演练涵盖情报收集、无差别攻击、针对性打击、稳固据点、横向渗透和控制目标等关键步骤,全面提升防护能力。
|
3天前
|
负载均衡 容灾 Cloud Native
云原生应用网关进阶:阿里云网络ALB Ingress 全能增强
在过去半年,ALB Ingress Controller推出了多项高级特性,包括支持AScript自定义脚本、慢启动、连接优雅中断等功能,增强了产品的灵活性和用户体验。此外,还推出了ingress2Albconfig工具,方便用户从Nginx Ingress迁移到ALB Ingress,以及通过Webhook服务实现更智能的配置校验,减少错误配置带来的影响。在容灾部署方面,支持了多集群网关,提高了系统的高可用性和容灾能力。这些改进旨在为用户提供更强大、更安全的云原生网关解决方案。
34 4
|
6天前
|
数据采集 网络协议 JavaScript
网络爬虫性能提升:requests.Session的会话持久化策略
网络爬虫性能提升:requests.Session的会话持久化策略
|
10天前
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
|
27天前
|
云安全 人工智能 安全
|
1月前
|
存储 缓存 监控
Docker容器性能调优的关键技巧,涵盖CPU、内存、网络及磁盘I/O的优化策略,结合实战案例,旨在帮助读者有效提升Docker容器的性能与稳定性。
本文介绍了Docker容器性能调优的关键技巧,涵盖CPU、内存、网络及磁盘I/O的优化策略,结合实战案例,旨在帮助读者有效提升Docker容器的性能与稳定性。
110 7
|
2月前
|
云安全 人工智能 安全
再登榜首!阿里云蝉联中国公有云网络安全即服务市场份额第一
再登榜首!阿里云蝉联中国公有云网络安全即服务市场份额第一
51 5
|
2月前
|
弹性计算 监控 数据库
制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程
本文通过一个制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程,展示了企业级应用上云的实践方法与显著优势,包括弹性计算资源、高可靠性、数据安全及降低维护成本等,为企业数字化转型提供参考。
63 5
|
2月前
|
云安全 人工智能 安全
阿里云稳居公共云网络安全即服务市占率第一
IDC发布《中国公有云网络安全即服务市场份额,2023:规模稳步增长,技术创新引领市场格局》报告,阿里云以27.0%的市场份额蝉联榜首。
|
2月前
|
弹性计算 安全 容灾
阿里云DTS踩坑经验分享系列|使用VPC数据通道解决网络冲突问题
阿里云DTS作为数据世界高速传输通道的建造者,每周为您分享一个避坑技巧,助力数据之旅更加快捷、便利、安全。本文介绍如何使用VPC数据通道解决网络冲突问题。
103 0