IoT设备消息洪峰怎么扛? 阿里云AIoT消息队列深度解读

简介: 本文整理了一份IoT队列的干货知识,让物联网从业者更进一步了解IoT场景队列,一同探讨一个适合于物联网系统的消息队列。

传统的消息队列((Kafka、RocketMQ等)经过多年打磨,在高性能、海量堆积、消息可靠性等诸多方面都已经做得非常极致,但在物联网场景中,往往需要面临着海量的消息传递,传统的消息队列表现的“力不从心”。

IoT领域中,从应用服务器到嵌入式芯片,都需要传递事件消息,比如共享充电宝的开柜子、开灯指令从服务器发到设备、工业网关高频消息流等,在这些信息传递的过程中,队列最大意义在于让整个消息事件在不可控的环境因素变成一个平稳运行的系统,因为IoT设备时不时会由于故障或网络抖动会导致大量消息洪峰。

阿里云AIoT作为物联网领域的引领者和创新者,在消息队列领域不断深耕与沉淀,为了让物联网从业者更进一步了解IoT场景队列,阿里云技术专家吕建文,整理了一份IoT队列的干货知识,与大家一同探讨一个适合于物联网系统的消息队列。


一、IoT队列和普通队列的差异点

1,上下行隔离拆分


在IoT场景中,我们把需要队列分为两个场景,一个是上行队列,一个是下行队列。 拆分之后,可以隔离上下行链路,控制一个设备,比如支付成功要下发打开柜子等,上行出任何问题,千万不能影响到下行业务。另外,上下行两条链路的特点差异非常大。设备上行消息,并发量非常高,但很多场景下对于可靠性和时延要求低,而设备下行消息,并发量则比较低,但下行消息(一般是控制设备指令)要求到达成功率很高。

1.jpg

2,支持设备级的海量topic


传统队列的核心诉求是,不论堆积多少不影响它的性能。kafka的topic一多,原本消息顺序写文件优势就会导致一个broker要退化到随机写,失去优势,另外要zookeeper来协调这么多topic也是有局限,所以这些队列本身有提供一个外挂代理桥接器对外入口是多个设备topic,再桥接映射到少量的实际kafka topic,这方案有一定可行性,但做不到隔离效果,治标不治本。


通过,图1和图2对比较明显,一个队列拥塞尽量减少对其它设备影响。我们需要的是“海量topic尽量相互隔离,并且不影响整体性能”,尽量做到设备A的消息堆积topic,不影响设备B。

2.jpg

3,实时生成消息优先发送


先举一个例子,一个快递柜业务的队列堆积,然后“此时此刻”在柜子旁边的用户死命的在旁边用手机点开柜子怎么也打不开(此时后端系统都恢复了),问题就是队列里面还有几十万条的消息,新来的消息需要排队, 等着之前的那些消息消费完,甭管这些消息还有没有用。  因此,实时生成消息优先发送,堆积的消息进入降级模式。


二、IoT消息队列诞生


1, IoT队列的设计思路

3.jpg

设计目标是为了打造一个支持上下行隔离、实时优先、及海量topic的队列网关,设计原则如下:

  • 完全follow开源生态、和传统队列互补兼容
  • 保序降级,实时优先,堆积退化;仅实时消息相对有序。
  • 海量topic,多租户隔离
  • 连接、计算、存储分离

2, 消息模式


图片只是个片段,从这个模式可以看出来机制差别,大家都没有错,只是出发点不同。

4.jpg

3, 连接、计算、存储分离

5.jpg

broker不做连接,连接网关代理,broker只做流转分发,无状态+水平扩展;存储交给nosql DB,高吞吐写。

4, 消息策略-推拉结合


这个应该是队列的核心难点之一,和传统队列区分在于,我们考虑为平台化模式,独享资源过于昂贵。但带来问题是消费端不可控,所以使用结合模式,只有在消费者在线时会拉取堆积消息,而拉取是由AMQP队列网关来做,给到用户接口始终是推送过去的onMessage回调。

6.jpg

  • broker不是直接让consumer来连接,而是把队列网关剥离出来,  这样会更灵活,甚至对于部分用户我们的queue可以切换到ons、kafka等实现。kafka、rocketmq做法是在连接时会分配给客户端一个broker接入地址。


  • broker实时消息优先推送给consumer,失败才会落到queue ;这是一个完整事件,如果没有完成则不给producer commit。


  • 异步ACK


5, 线性扩展-离线消息部分


实时部分消息采用推方式,基本上不会成为瓶颈,消费不过来消息进入堆积模式。由于底层依赖存储已经帮我们解决核心存储的扩展,剩下主要问题点在于如何消除写入热点和消费热点,这样broker可以完全做到无状态。

640.png

三,一个思考——如何解决海量topic问题?



首先面对“大量”的问题一般都是考虑分区,单元化,分组等隔离和拆分,这里海量topic我们讨论针对一个单实例模式下如何尽可能做到更多topic,完全任意数量都能100%没问题肯定是不现实的。


由于broker和存储已经隔离,broker和topic已经没有什么关系,或者说任何topic数据生成,broker做的事情就是写入和分发。

  • 海量topic,每个topic有限数量订阅:  topic和订阅者关系使用redis缓存或本地缓存,针对mqtt topic匹配有个topic tree的树算法,hivemq有实现版本。
  • 单个topic 海量订阅:  这个场景其实是组播和广播,我们不会考虑在队列本身上面去做这个事情,而是在上层封装广播组件来协调任务和批量发送。


四, 阿里云AIoT消息队列

8.jpg

目前阿里云AIoT队列,也叫服务端订阅,意思就是用户用服务端订阅他们设备消息。为了降低接入成本,用户可以使用AMQP1.0协议接入,符合开源生态。 同时兼容传统队列和新队列,交给用户按场景来选择,用户即可选择使用kafka、mq,也可以选用iot队列,甚至组合模式,比如按消息特征规则来配置流转队列。

阿里云AIoT的场景队列实践,在现有mq队列、kafka队列融合之外,加了种自有的实时优先队列实现,同时,加入了队列网关代理,既能让用户选择普通消息队列,也可以选择轻便的IoT消息队列。

目录
相关文章
|
Java Go Nacos
解决`java.lang.NoClassDefFoundError`在Nacos和Spring Boot集成中的问题
解决`java.lang.NoClassDefFoundError`在Nacos和Spring Boot集成中的问题
875 0
|
10月前
|
网络安全 Windows
window powershell 查看ssh
window powershell 查看ssh
544 0
|
11月前
|
存储 安全 机器人
MemoryScope:为LLM聊天机器人配备的长期记忆系统
如何选择合适的方法构建自己的智能体助理呢?这里向您介绍强大、低延迟、安全可控的MemoryScope开源项目。
|
网络协议 网络虚拟化
接收网络包的过程——从硬件网卡解析到IP
【9月更文挑战第18天】这段内容详细描述了网络包接收过程中机制。当网络包触发中断后,内核处理完这批网络包,会进入主动轮询模式,持续处理后续到来的包,直至处理间隙返回其他任务,从而减少中断次数,提高处理效率。此机制涉及网卡驱动初始化时注册轮询函数,通过软中断触发后续处理,并逐步深入内核网络协议栈,最终到达TCP层。整个接收流程分为多个层次,包括DMA技术存入Ring Buffer、中断通知CPU、软中断处理、以及进入内核网络协议栈等多个步骤。
|
人工智能 物联网 数据挖掘
奇思妙想之旅:探索AI在智能家居中的应用
随着人工智能技术的不断发展,智能家居已经成为了我们生活中不可或缺的一部分。在这个奇思妙想之旅中,我们将一起探索AI在智能家居领域的应用,以及如何通过AI技术提升家居生活的品质。
747 2
|
Web App开发 运维 Java
如何基于mPaaS的闪退日志进行闪退排查
目前 mPaas Android是使用的是Crash SDK对闪退进行的处理,CrashSDK 是 Android 平台上一款功能强大的崩溃日志收集 SDK,有着极高的崩溃收集率和完整、全面的崩溃日志信息,生成的日志内容非常利于问题的跟进和解决。在我们的日常运维中,经常遇到一些闪退,无法直接从闪退堆栈看到原因,尤其是一些非Java的Native的闪退,这里分享下在mPaas框架下怎么使用Crash SDK对闪退进行分析。
491 0
|
JSON 安全 API
⚡什么是 OpenAPI,优势、劣势及示例
OpenAPI 是一个用于描述RESTful API的标准,它提供了一个接口,使得人和机器无需源代码或文档就能理解服务。它定义了API的结构,与语言无关,适用于REST API。OpenAPI始于Swagger项目,后来成为OpenAPI倡议的一部分,由Linux基金会管理,得到了众多公司的支持。OpenAPI流行的原因包括其语言无关性、可读性、社区支持和工具生态系统。它使用JSON格式,支持各种数据类型,并具有严格定义的结构。虽然有其他如RAML和API Blueprint的竞争格式,但OpenAPI的广泛采用使其成为行业标准。
|
前端开发 JavaScript
HTML+CSS+JS 倒计时动画效果
HTML+CSS+JS 倒计时动画效果
|
存储 安全 网络协议
IoT亿级设备接入层建设实践
互联网的产品基本都需要解决终端的接入问题,每个接入层会因为终端数量、终端能力、网络环境等不同的因素有各自的设计特性。物联网场景下由于IoT设备的特点,不同的"物"特性催生了不同的IoT接入层。本文详细介绍了阿里云IoT在接入层的一些关键策略和设计。
1580 0
|
消息中间件 物联网 网络性能优化
MQTT常见问题之MQTT的topic超出上限25个如何解决
MQTT(Message Queuing Telemetry Transport)是一个轻量级的、基于发布/订阅模式的消息协议,广泛用于物联网(IoT)中设备间的通信。以下是MQTT使用过程中可能遇到的一些常见问题及其答案的汇总: