我的mqtt协议和emqttd开源项目个人理解(11) - EMQ 一个客户链接的资源消耗

简介: 我的mqtt协议和emqttd开源项目个人理解(11) - EMQ 一个客户链接的资源消耗

Erlang进程消耗

EMQ对客户端链接使用链接进程(emqtt_client)和session进程(emqtt_session)分开的策略。 当一个mqtt的客户端连接到EMQ的服务器上的时候,首先会建立一个负责管理连接的进程(emqtt_client),当验证客户端有效后会建立另一个进程(emqtt_session),负责该客户端的会话。


在EMQ中,每一个clientID只能登录一次,因此后登录的客户端会将先登录的客户端踢下线。


主要内存消耗(一个connection大约占10K内存)

数据表

当一个客户端成功完成了验证,EMQ会在mqtt_session中添加一个表项目,同时会在mqtt_local_session和mqtt_client这两张ets表中添加表项目。


进程上下文

链接进程(emqtt_client)负责接收客户端发来的数据和接受服务器内部要发送给客户端的数据,并使用编解码器进行编解码,因此链接进程的上下文消耗,主要取决接收到的数据包大小和将要发送的数据包大小和数量。


session进程(emqtt_session)会保持一个inflight队列,用来对QoS大于0的消息进行应答等待,默认会保存32个消息在等待应答,如果超过这个量级就会放入等待队列。因此session进程(emqtt_session)的主要内存消耗,取决于多少等待应答的消息,以及这些需要应答消息的数据包的大小。


主要CPU消耗

定时器

链接进程(emqtt_client),默认会启动一个心跳定时器,定期的检查链接是否存活。session进程(emqtt_session)同样会开启一个重新发送定时器,用来检查QoS大于0的消息的infligt响应,当客户端发布QoS为2的消息时还会开启另外一个定时器,用来检测REPL信息的响应,当然session进程(emqtt_session)有可能会在客户端离线后保持一段时间,因此在这段时间会建立一个超时退出的定时器。因此session进程(emqtt_session)在某一个时刻会同时存在三个定时器。


监控

session进程(emqtt_session)为了发现链接进程的退出,会建立一个针对链接进程的监控。而在客户端上线成功后后在向mqtt_local_session和mqtt_client这两张ets表中添加项目的时候,会分别建立两个监控,用来监控session进程(emqtt_session)和链接进程(emqtt_client)的退出。


进程消息

因为EMQ使用了链接进程(emqtt_client)和session进程(emqtt_session)分开的策略,因此产生进程消息传递是无法避免的。因为session进程(emqtt_session)会负责接收服务器发送给客户端的消息,并进行预先处理,处理完之后再交付给链接进(emqtt_client)程进行发送。


当使用持久化session的时候,session进程(emqtt_session)的查找和恢复时也会产生大量的进程消息。


总结

从上面的介绍中,可以看出,在部署一个EMQ服务器前需要考虑,一个客户端平均消息的量级,QoS占比和数据包大小,同时根据有多少客户端进行CPU频率和数量的选择(参考Actor模型中的调度部分)。


当运营一个EMQ服务器的时候,如果在消息量级和客户端数量没有明显变化的情况下,CPU突然飙升,就要去考虑下是否出现客户端频繁上下线的情况。当然这只是一个简单的例子,还有很多情况在此就不一一列举了。


相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
29天前
|
网络协议 物联网 网络性能优化
物联网协议比较 MQTT CoAP RESTful/HTTP XMPP
【10月更文挑战第18天】本文介绍了物联网领域中四种主要的通信协议:MQTT、CoAP、RESTful/HTTP和XMPP,分别从其特点、应用场景及优缺点进行了详细对比,并提供了简单的示例代码。适合开发者根据具体需求选择合适的协议。
51 5
|
2月前
|
消息中间件 监控 物联网
MQTT协议对接及RabbitMQ的使用记录
通过合理对接MQTT协议并利用RabbitMQ的强大功能,可以构建一个高效、可靠的消息通信系统。无论是物联网设备间的通信还是微服务架构下的服务间消息传递,MQTT和RabbitMQ的组合都提供了一个强有力的解决方案。在实际应用中,应根据具体需求和环境进行适当的配置和优化,以发挥出这两个技术的最大效能。
174 0
|
3月前
|
物联网 C# 智能硬件
智能家居新篇章:WPF与物联网的智慧碰撞——通过MQTT协议连接与控制智能设备,打造现代科技生活的完美体验
【8月更文挑战第31天】物联网(IoT)技术的发展使智能家居设备成为现代家庭的一部分。通过物联网,家用电器和传感器可以互联互通,实现远程控制和状态监测等功能。本文将探讨如何在Windows Presentation Foundation(WPF)应用中集成物联网技术,通过具体示例代码展示其实现过程。文章首先介绍了MQTT协议及其在智能家居中的应用,并详细描述了使用Wi-Fi连接方式的原因。随后,通过安装Paho MQTT客户端库并创建MQTT客户端实例,演示了如何编写一个简单的WPF应用程序来控制智能灯泡。
120 0
|
3月前
|
物联网 网络性能优化 Python
"掌握MQTT协议,开启物联网通信新篇章——揭秘轻量级消息传输背后的力量!"
【8月更文挑战第21天】MQTT是一种轻量级的消息传输协议,以其低功耗、低带宽的特点在物联网和移动应用领域广泛应用。基于发布/订阅模型,MQTT支持三种服务质量级别,非常适合受限网络环境。本文详细阐述了MQTT的工作原理及特点,并提供了使用Python `paho-mqtt`库实现的发布与订阅示例代码,帮助读者快速掌握MQTT的应用技巧。
89 0
|
28天前
|
消息中间件 JSON Java
开发者如何使用轻量消息队列MNS
【10月更文挑战第19天】开发者如何使用轻量消息队列MNS
68 4
|
23天前
|
消息中间件 存储 Kafka
MQ 消息队列核心原理,12 条最全面总结!
本文总结了消息队列的12个核心原理,涵盖消息顺序性、ACK机制、持久化及高可用性等内容。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
|
26天前
|
消息中间件
解决方案 | 云消息队列RabbitMQ实践获奖名单公布!
云消息队列RabbitMQ实践获奖名单公布!
|
1月前
|
消息中间件 安全 Java
云消息队列RabbitMQ实践解决方案评测
一文带你详细了解云消息队列RabbitMQ实践的解决方案优与劣
69 8
|
1月前
|
消息中间件 存储 弹性计算
云消息队列RabbitMQ实践
云消息队列RabbitMQ实践
|
1月前
|
消息中间件 存储 监控
解决方案 | 云消息队列RabbitMQ实践
在实际业务中,网站因消息堆积和高流量脉冲导致系统故障。为解决这些问题,云消息队列 RabbitMQ 版提供高性能的消息处理和海量消息堆积能力,确保系统在流量高峰时仍能稳定运行。迁移前需进行技术能力和成本效益评估,包括功能、性能、限制值及费用等方面。迁移步骤包括元数据迁移、创建用户、网络打通和数据迁移。
64 4
下一篇
无影云桌面