rocketMq-Topic创建过程

简介: Topic可以理解为在rocketMq体系当中作为一个逻辑消息组织形式,一般情况下一类业务消息会申请一个topic来实现业务之间隔离。Topic的存储Topic的实际存储模型说明:    该图分享自: RocketMQ概念模型    Topic是一个逻辑上的概念,实际上在每个broker上以queue的形式保存,也就是说每个topic在broker上会划分成几个逻辑队列,每个逻辑队列保存一部分消息数据,但是保存的消息数据实际上不是真正的消息数据,而是指向commit log的消息索引。

Topic可以理解为在rocketMq体系当中作为一个逻辑消息组织形式,一般情况下一类业务消息会申请一个topic来实现业务之间隔离。


Topic的存储

img_791151ecef2c9696664101df4eb3db08.png
Topic的实际存储模型

说明:

    该图分享自: RocketMQ概念模型

    Topic是一个逻辑上的概念,实际上在每个broker上以queue的形式保存,也就是说每个topic在broker上会划分成几个逻辑队列,每个逻辑队列保存一部分消息数据,但是保存的消息数据实际上不是真正的消息数据,而是指向commit log的消息索引。

    Topic创建的时候可以用集群模式去创建(这样集群里面每个broker的queue的数量相同),也可以用单个broker模式去创建(这样每个broker的queue数量可以不一致)。

    每个broker上的角色是等同的,也就是说每个broker上面的queue保存了该topic下一部分消息,注意是一部分而不是全量消息。


rocketMq的命令行工具

img_f44ec71ef5cf53aa3d231b7283fd58ae.png
rocketMq的CLI

说明:

    在rocketMq编译后的bin目录下有一个mqadmin的工具,该工具作为rocketMq的CLI工具对外提供,使用时候可以通过sh mqadmin -h 或者sh mqadmin command -h查看用法。

    updateTopic和deleteTopic是实际中操作topic的命令。


rocketMq的topic工具

img_ba6d8aff86d658b863ad0357413995c8.png
topic操作的CLI

说明:

    创建topic需要指定的参数,

    -b 指定broker上创建topic

    -c 指定cluster创建topic

    -n 指定namesrv地址,cluster模式下必须从namesrv获取broker地址

    -t topic的名字标志

    -r/w 读写队列的个数,建议相等

    -p queue的读写权限

    -o 待研究不确定是不是保证全局有序消息的配置


topic的创建过程

img_435e3d2c2331568cefcba486c51c4bc8.png
rocketMq创建过程

说明:

    topic的创建过程涉及到3个组件,分别是mqadmin、broker、namesrv。

    整个创建过程是mqadmin->broker->namesrv。

    mqadmin通知broker创建topic和对应的queue信息。

    broker转发通知namesrv保存topic和broker的原信息,同时在本地持久化一份topic配置。

    broker在这个时候不真正创建本地的队列信息


mqadmin操作过程

img_0b1bc68413349fa0baa1b9f434763d51.png
updateTopic的参数

说明:

    参见 UpdateTopicSubCommand类

    注册参数和updateTopic显示帮助是一致的


img_67943931f9d24787312295ec1e33e9a4.png
集群和broker模式下创建topic

说明:

    支持cluster模式下创建topic和支持broker模式下创建topic


img_69d494f4c3d1bad645b6df4a5a41cfd6.png
通知broker创建topic

说明:

    通知broker创建topic。


img_895a493406914692e46937addcc5157e.png
集群模式下获取broker地址

说明:

    集群模式下首先通过namesrv获取所有的broker的master地址,然后通知每个broker去创建topic,每个broker的创建过程跟指定单个broker是一致的。


broker操作过程

img_c8ed5a4defe74c161112847d04672def.png
broker处理topic创建消息入口

说明:

    参见AdminBrokerProcessor类



img_47016fbd34c099ee3b797d10d84573bd.png
broker本地保存topic配置并转发namesrv

说明:

    broker本地通过updateTopicConfig保存topic的配置信息并持久化

    broker通过registerBrokerAll通知namesrv保存topic信息



img_8ffcca2e78bcf11cebc29593648fe4c2.png
broker向namesrv注册topic

说明:

    broker通知namesrv注册该broker下的topic信息,具体的namesrv地址是在registerBrokerAll内部访问namesrv获取的。


namesrv操作过程


img_7157e3c4602e8afee7afc30a31b45adc.png
namesrv处理topic创建消息

说明:

    参见DefaultRequestProcessor类


img_6743c78f502f82194f18ac025b3e6915.png
namesrv解析topic信息

说明:

    参见DefaultRequestProcessor类


img_ade42722ea17d4846a526fc4c575032d.png
namesrv保存注册topic信息

说明:

    参见RouteInfoManager类

相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
消息中间件 存储 运维
RocketMQ 控制台安装|学习笔记
快速学习 RocketMQ 控制台安装
2900 0
RocketMQ 控制台安装|学习笔记
|
测试技术
JMeter 随机数生成器详细指南:利用 Random 和 UUID 实现
在压力测试中,经常需要生成随机值来模拟用户行为。JMeter 提供了多种方式来生成随机值,本文来具体介绍一下。
|
消息中间件 NoSQL 数据库
一文讲透消息队列RocketMQ实现消费幂等
这篇文章,我们聊聊消息队列中非常重要的最佳实践之一:消费幂等。
一文讲透消息队列RocketMQ实现消费幂等
|
供应链 搜索推荐 API
1688榜单商品详细信息API接口的开发、应用与收益
1688作为全球知名的B2B电商平台,为企业提供丰富的商品信息和交易机会。为满足企业对数据的需求,1688开发了榜单商品详细信息API接口,帮助企业批量获取商品详情,应用于信息采集、校验、同步与数据分析等领域,提升运营效率、优化库存管理、精准推荐、制定市场策略、降低采购成本并提高客户满意度。该接口通过HTTP请求调用,支持多种应用场景,助力企业在电商领域实现可持续发展。
318 4
|
消息中间件 存储 设计模式
RocketMQ原理—5.高可用+高并发+高性能架构
本文主要从高可用架构、高并发架构、高性能架构三个方面来介绍RocketMQ的原理。
3501 21
RocketMQ原理—5.高可用+高并发+高性能架构
|
消息中间件 负载均衡 API
RocketMQ生产者负载均衡(轮询机制)核心原理
文章深入分析了RocketMQ生产者的负载均衡机制,特别是轮询机制的实现原理,揭示了如何通过`ThreadLocal`技术和消息队列的选播策略来确保消息在多个队列之间均衡发送,以及如何通过灵活的API支持自定义负载均衡策略。