RocketMQ 5.0 vs 4.9.X 图解架构

简介: 2图胜万言

一、RocketMQ 4.9.X架构

image.png在4.9.X中每个组件和组件之间的通信简单说明如下:


组件和数据流

说明

Namesrv

无状态服务,保存Topic路由信息Topic路由=topic-queue-broker

Broker

有状态服务,处理计算和存储。计算 = 生产者请求,消费者请求,管理请求,Broker系统服务(比如索引构建服务,消息过期服务)存储  = 消息存储,索引存储

Broker -> Namesrv

Broker定期把Broker信息+当前Broker中的Topic信息上报Namesrv

生产者

生产消息

生产者<-> Namesrv

生产者从Namesrv获取Topic路由信息, 包含Broker IP。

生产者<-> Broker

生产者通过Topic路由信息,把消息直接发送给Broker生产者定期和Broker心跳,上报当前生产者实例信息

消费者

消费消息

消费者<-> Namesrv

1. 消费者从Namesrv获取Topic路由信息, 包含Broker IP

消费者 <-> Broker

消费者通过Topic路由信息,从指定Broker中拉取消息消费消费者定期和Broker心跳,上报当前消费者实例信息


二、RocketMQ 5.0.0 架构


image.png

在5.0.0 中每个组件和组件之间的通信简单说明如下:

组件和数据流
说明
Namesrv

无状态服务,保存Topic路由信

Topic路由=topic-queue-broker。


在5.0.0时,Namesrv进程中可以嵌入Controller模块。

若设置enableControllerInNamesrv=true,在Namesrv进程中嵌入启动一个Controller实例

Broker

有状态服务,处理计算和存储。

计算 = 生产者请求,消费者请求,管理请求,Broker系统服务(比如索引构建服务,消息过期服务)

存储  = 消息存储,索引存储


在5.0.0时, Broker支持主从切换,Broker的角色包含:master,slave,learner。

若设置asyncLearner=true,则Broker为learner,只同步数据, 不参与选举master。

Broker -> Namesrv
Broker定期把Broker信息+当前Broker中的Topic信息上报Namesrv
Remoting生产者
生产消息
Remoting生产者<-> Namesrv

生产者从Namesrv获取Topic路由信息, 包含

Broker IP。

Remoting生产者<-> Broker
  1. 生产者通过Topic路由信息,把消息直接发送给Broker
  2. 生产者定期和Broker心跳,上报当前生产者实例信息
Remoting消费者 消费消息
Remoting消费者<-> Namesrv

1. 消费者从Namesrv获取Topic路由信息, 包含

Broker IP

Remoting消费者 <-> Broker
  1. 消费者通过Topic路由信息,从指定Broker中拉取消息消费
  2. 消费者定期和Broker心跳,上报当前消费者实例信息

5.0.0新增模块

Controller(控制器)

和Kafka Controller类似,在RocketMQ中负责Broker Master的选举和通知Broker

5.0.0新增模块

Broker <-> Controller

  1.  Broker定期把Broker信息
    上报Controller
  2. Broker同步副本状态
  3. Controller选举新的Broker Master后,通知全部Broker

5.0.0新增模块

Proxy

无状态服务,新客户端通过Grpc接口访问Proxy进行收发消息。

社区正在讨论支持Remoting协议。


Proxy中支持嵌入Broker。

若设置proxyMode=LOCAL,则会在Proxy进程中启动一个Broker实例。

5.0.0新增模块

Proxy <-> Broker

Proxy通过Remoting协议和Broker通信,可以把Proxy当作一个Remoting的Client。

5.0.0新增模块

新Client

新客户端,支持生产、消费、管理功能。目前支持Grpc协议

5.0.0新增模块

新Client <-> Proxy

新客户端访问Proxy进行收发消息,管理


相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
26天前
|
消息中间件 存储 Java
RocketMQ(一):消息中间件缘起,一览整体架构及核心组件
【10月更文挑战第15天】本文介绍了消息中间件的基本概念和特点,重点解析了RocketMQ的整体架构和核心组件。消息中间件如RocketMQ、RabbitMQ、Kafka等,具备异步通信、持久化、削峰填谷、系统解耦等特点,适用于分布式系统。RocketMQ的架构包括NameServer、Broker、Producer、Consumer等组件,通过这些组件实现消息的生产、存储和消费。文章还提供了Spring Boot快速上手RocketMQ的示例代码,帮助读者快速入门。
|
3月前
|
消息中间件 存储 Java
RabbitMQ 在微服务架构中的高级应用
【8月更文第28天】在微服务架构中,服务之间需要通过轻量级的通信机制进行交互。其中一种流行的解决方案是使用消息队列,如 RabbitMQ,来实现异步通信和解耦。本文将探讨如何利用 RabbitMQ 作为服务间通信的核心组件,并构建高效的事件驱动架构。
134 2
|
2月前
|
消息中间件 弹性计算 运维
云消息队列RabbitMQ 版架构优化评测
云消息队列RabbitMQ 版架构优化评测
64 6
|
3月前
|
网络协议 Java 物联网
MQTT(EMQX) - SpringBoot 整合MQTT 连接池 Demo - 附源代码 + 在线客服聊天架构图
MQTT(EMQX) - SpringBoot 整合MQTT 连接池 Demo - 附源代码 + 在线客服聊天架构图
779 2
|
3月前
|
消息中间件 Java RocketMQ
微服务架构师的福音:深度解析Spring Cloud RocketMQ,打造高可靠消息驱动系统的不二之选!
【8月更文挑战第29天】Spring Cloud RocketMQ结合了Spring Cloud生态与RocketMQ消息中间件的优势,简化了RocketMQ在微服务中的集成,使开发者能更专注业务逻辑。通过配置依赖和连接信息,可轻松搭建消息生产和消费流程,支持消息过滤、转换及分布式事务等功能,确保微服务间解耦的同时,提升了系统的稳定性和效率。掌握其应用,有助于构建复杂分布式系统。
66 0
|
4月前
|
消息中间件 存储 缓存
架构设计篇问题之消息队列(MQ)在微服务系统中问题如何解决
架构设计篇问题之消息队列(MQ)在微服务系统中问题如何解决
|
5月前
|
消息中间件 存储 SQL
RocketMQ与Kafka架构深度对比
RocketMQ与Kafka架构深度对比
|
6月前
|
消息中间件 存储 Apache
MQ产品使用合集之有RocketMQ arm架构的镜像吗
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
322 1
|
25天前
|
消息中间件 JSON Java
开发者如何使用轻量消息队列MNS
【10月更文挑战第19天】开发者如何使用轻量消息队列MNS
66 6
|
20天前
|
消息中间件 存储 Kafka
MQ 消息队列核心原理,12 条最全面总结!
本文总结了消息队列的12个核心原理,涵盖消息顺序性、ACK机制、持久化及高可用性等内容。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。