IoT设备消息洪峰怎么扛? 阿里云AIoT消息队列深度解读-阿里云开发者社区

开发者社区> -开发者助手-> 正文

IoT设备消息洪峰怎么扛? 阿里云AIoT消息队列深度解读

简介: 阿里云AIoT作为物联网领域的引领者和创新者,在消息队列领域不断深耕与沉淀,为了让物联网从业者更进一步了解IoT场景队列,阿里云技术专家吕建文,整理了一份IoT队列的干货知识,与大家一同探讨一个适合于物联网系统的消息队列。
+关注继续查看


传统的消息队列((Kafka、RocketMQ等)经过多年打磨,在高性能、海量堆积、消息可靠性等诸多方面都已经做得非常极致,但在物联网场景中,往往需要面临着海量的消息传递,传统的消息队列表现的“力不从心”。

 IoT领域中,从应用服务器到嵌入式芯片,都需要传递事件消息,比如共享充电宝的开柜子、开灯指令从服务器发到设备、工业网关高频消息流等,在这些信息传递的过程中,队列最大意义在于让整个消息事件在不可控的环境因素变成一个平稳运行的系统,因为IoT设备时不时会由于故障或网络抖动会导致大量消息洪峰。

 阿里云AIoT作为物联网领域的引领者和创新者,在消息队列领域不断深耕与沉淀,为了让物联网从业者更进一步了解IoT场景队列,阿里云技术专家吕建文,整理了一份IoT队列的干货知识,与大家一同探讨一个适合于物联网系统的消息队列。


一、IoT队列和普通队列的差异点


1,上下行隔离拆分


在IoT场景中,我们把需要队列分为两个场景,一个是上行队列,一个是下行队列。 拆分之后,可以隔离上下行链路,控制一个设备,比如支付成功要下发打开柜子等,上行出任何问题,千万不能影响到下行业务。另外,上下行两条链路的特点差异非常大。设备上行消息,并发量非常高,但很多场景下对于可靠性和时延要求低,而设备下行消息,并发量则比较低,但下行消息(一般是控制设备指令)要求到达成功率很高。

3.jpg

2,支持设备级的海量topic


传统队列的核心诉求是,不论堆积多少不影响它的性能。kafka的topic一多,原本消息顺序写文件优势就会导致一个broker要退化到随机写,失去优势,另外要zookeeper来协调这么多topic也是有局限,所以这些队列本身有提供一个外挂代理桥接器对外入口是多个设备topic,再桥接映射到少量的实际kafka topic,这方案有一定可行性,但做不到隔离效果,治标不治本。


通过,图1和图2对比较明显,一个队列拥塞尽量减少对其它设备影响。我们需要的是“海量topic尽量相互隔离,并且不影响整体性能”,尽量做到设备A的消息堆积topic,不影响设备B。

3·1.jpg

3,实时生成消息优先发送


先举一个例子,一个快递柜业务的队列堆积,然后“此时此刻”在柜子旁边的用户死命的在旁边用手机点开柜子怎么也打不开(此时后端系统都恢复了),问题就是队列里面还有几十万条的消息,新来的消息需要排队, 等着之前的那些消息消费完,甭管这些消息还有没有用。  因此,实时生成消息优先发送,堆积的消息进入降级模式。


二、IoT消息队列诞生



1, IoT队列的设计思路


3·2.jpg


设计目标是为了打造一个支持上下行隔离、实时优先、及海量topic的队列网关,设计原则如下:

  • 完全follow开源生态、和传统队列互补兼容
  • 保序降级,实时优先,堆积退化;仅实时消息相对有序。
  • 海量topic,多租户隔离
  • 连接、计算、存储分离

2, 消息模式


图片只是个片段,从这个模式可以看出来机制差别,大家都没有错,只是出发点不同。

3·3.jpg



3, 连接、计算、存储分离



3·4.jpg


broker不做连接,连接网关代理,broker只做流转分发,无状态+水平扩展;存储交给nosql DB,高吞吐写。

4, 消息策略-推拉结合


这个应该是队列的核心难点之一,和传统队列区分在于,我们考虑为平台化模式,独享资源过于昂贵。但带来问题是消费端不可控,所以使用结合模式,只有在消费者在线时会拉取堆积消息,而拉取是由AMQP队列网关来做,给到用户接口始终是推送过去的onMessage回调。

3·5.jpg


  • broker不是直接让consumer来连接,而是把队列网关剥离出来,  这样会更灵活,甚至对于部分用户我们的queue可以切换到ons、kafka等实现。kafka、rocketmq做法是在连接时会分配给客户端一个broker接入地址。


  • broker实时消息优先推送给consumer,失败才会落到queue ;这是一个完整事件,如果没有完成则不给producer commit。


  • 异步ACK


 

5, 线性扩展-离线消息部分


实时部分消息采用推方式,基本上不会成为瓶颈,消费不过来消息进入堆积模式。由于底层依赖存储已经帮我们解决核心存储的扩展,剩下主要问题点在于如何消除写入热点和消费热点,这样broker可以完全做到无状态。

3·6.jpg


三,一个思考——如何解决海量topic问题?



首先面对“大量”的问题一般都是考虑分区,单元化,分组等隔离和拆分,这里海量topic我们讨论针对一个单实例模式下如何尽可能做到更多topic,完全任意数量都能100%没问题肯定是不现实的。


由于broker和存储已经隔离,broker和topic已经没有什么关系,或者说任何topic数据生成,broker做的事情就是写入和分发。

  • 海量topic,每个topic有限数量订阅:  topic和订阅者关系使用redis缓存或本地缓存,针对mqtt topic匹配有个topic tree的树算法,hivemq有实现版本。
  • 单个topic 海量订阅:  这个场景其实是组播和广播,我们不会考虑在队列本身上面去做这个事情,而是在上层封装广播组件来协调任务和批量发送。 


四, 阿里云AIoT消息队列

3·7.jpg

目前阿里云AIoT队列,也叫服务端订阅,意思就是用户用服务端订阅他们设备消息。为了降低接入成本,用户可以使用AMQP1.0协议接入,符合开源生态。 同时兼容传统队列和新队列,交给用户按场景来选择,用户即可选择使用kafka、mq,也可以选用iot队列,甚至组合模式,比如按消息特征规则来配置流转队列。

 阿里云AIoT的场景队列实践,在现有mq队列、kafka队列融合之外,加了种自有的实时优先队列实现,同时,加入了队列网关代理,既能让用户选择普通消息队列,也可以选择轻便的IoT消息队列。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10077 0
技术详解 阿里云AIoT物模型支撑设备规模已超亿级
本文介绍的物模型技术,对于阿里云AIoT来说,物模型技术早已沉淀多年,所以能够让各种硬件产品实现真正的智能化连接。
506 0
IOT设备通讯协议MQTT
哈喽大家好呀!笔者的公司最近在做IOT设备相关的业务,基于这个契机寻找学习了一下关于IOT通讯协议相关的内容,最终在技术选型上选择了使用MQTT协议并且结合EMQ上层MQTT中间件实现提供链接服务,那么本轮博文就和大家来一起探讨学习有关IOT设备的相关特性和MQTT协议的本质.
1923 0
【阿里云IoT+YF3300】10.快速开发188协议设备驱动
188协议的全称为CJ-T188-2004 《户用计量仪表数据传输技术条件》,是针对水表、燃气表、热量表和其他集中采集的一个国家行业标准协议。
775 0
IoT设备消息洪峰怎么扛? 阿里云AIoT消息队列深度解读
本文整理了一份IoT队列的干货知识,让物联网从业者更进一步了解IoT场景队列,一同探讨一个适合于物联网系统的消息队列。
780 0
技术详解 阿里云AIoT物模型支撑设备规模已超亿级
物模型技术对于物联网企业来说是一项非常重要的技术,因为要实现万物互联,必须要有物模型体系沉淀,才能够让各种硬件产品实现真正的智能化连接。对于阿里云AIoT来说,物模型技术早已完成了多年的沉淀,目前,阿里云AIoT物模型技术已成为行业的引领者。
37 0
阿里云物联网平台设备端开发样例
阿里云物联网平台设备端开发样例:MQTT客户端发送消息至物联网平台设备端,并通过规则引擎转至消息队列。
2061 0
阿里云微服务消息队列MQTT管控API本地测试Quick Start
微消息队列MQTT版是阿里云推出的一款面向移动互联网以及物联网领域的轻量级消息中间件。如果说传统的消息队列中间件一般应用于微服务之间,那么适用于物联网的微消息队列MQTT版则实现了端与云之间的消息传递和真正意义上的万物互联。目前产品提供常用的云端API的功能调用,本文通过接口调用QuerySessionByClientId根据Client ID查询指定设备的连接信息。
102 0
IoT存量设备跨账号迁移,动态切换region节点,公共区到企业实例迁移方案
基于开放API实现IoT存量设备跨账号迁移设备,动态切换region节点,企业实例迁移
3744 0
IoT物联网平台:网关与子设备开发实战
设备挂载到网关上,作为网关的子设备,由网关代理接入IoT物联网平台
3876 0
2450
文章
0
问答
来源圈子
更多
致力于实现万物互联的美好世界,为生态合作伙伴提供基于云计算、大数据、人工智能、云端一体化、安全的物联网基础平台和内容服务平台。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载