从0到1 手把手搭建spring cloud alibaba 微服务大型应用框架(十三)rocketmq 篇(3): 消息读写队列,消息存储,消息发送,消息消费关联流程和原理

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 从0到1 手把手搭建spring cloud alibaba 微服务大型应用框架(十三)rocketmq 篇(3): 消息读写队列,消息存储,消息发送,消息消费关联流程和原理

本文承接上文《从0到1 手把手搭建spring cloud alibaba 微服务大型应用框架(十三)rocketmq 篇(2):路由注册,消息发送核心流程原理》

ae48956613064dabae7290d6474de3c4.png

闲话少说,我们直接上图,我这特意用颜色标注了一下,注意观察颜色相同的部分


d9999dc8c74c4d62a5d5d2d6b668b61a.png

流程描述

消息生产-存储流程

1.首选生产者从本地缓存或者从nameserver 获取到对应topic 对应的broker路由以及quene 写队列

2.生产者本地使用负载均衡策略选择一个broker和队列进行发送

3.broker 接到消息后会直接保存或者通过page cache 和内存映射首先将消息保存如内存中,

然后定时去保存到commitLog里,具体看是同步保存还是异步保存

4.broker 会启动定时任务监听commitLog 文件更新,如果有更新,

会同步到consumeQuene和index中,comsumeQuene结构为/topic名/queneid/xxx

消息消费-存储流程

1.消费者从nameserver 获取到对应topic 对应的broker路由以及quene 读队列

2.然后开启一个线程去批量拉取消息,将消息放入消息租possessMessage 内

3.处理possessMessage ,处理完一批后保存消费进度到本地

4.启动定时任务发送消费进度到broker端

5.broker 同步进度文件consumeOffset.json

消息存储结构

消息存储结构图

RocketMQ存储路径为${ROCKET_HOME}/store

5714c557fcc340d3b281e768257be72b.png

核心文件数据结构介绍

commitLog 数据结构

消息主体以及元数据的存储主体,存储消息生产端写入的消息主体内容,消息内容不是定长的。单个文件大小默认1GB,文件名长度为20位,左边补零,剩余为起始偏移量,比如00000000000000000000代表了第一个文件,起始偏移量为0,文件大小为1G=1073741824。第二个文件为00000000001073741824,起始偏移量为1073741824,以此类推。消息主要是顺序写入日志文件,当文件满了,写入下一个文件  

81592cd38a6147b0a84a9edd3414d4a2.png


673069028ec74661a5cb4576ce7f8e38.png

RocketMQ基于主题订阅模式实现消息消费,消费者关心的是一个主题下的所有消息,但同一主题的消息是不连续地存储在CommitLog文件中的。如果消息消费者直接从消息存储文件中遍历查找订阅主题下的消息,效率将极其低下。RocketMQ为了适应消息消费的检索需求,设计了ConsumeQueue文件,该文件可以看作CommitLog关于消息消费的“索引”文件,ConsumeQueue的第一级目录为消息主题,第二级目录为主题的消息队列


单个ConsumeQueue文件中默认包含30万个条目,单个文件的长度为3×106×20字节,单个ConsumeQueue文件可以看作一个ConsumeQueue条目的数组,其下标为ConsumeQueue的逻辑偏移量,消息消费进度存储的偏移量即逻辑偏移量。ConsumeQueue即为CommitLog文件的索引文件,其构建机制是当消息到达CommitLog文件后,由专门的线程产生消息转发任务  

index 数据结构


ConsumeQueue是RocketMQ专门为消息订阅构建的索引文件,目的是提高根据主题与消息队列检索消息的速度。另外,RocketMQ引入哈希索引机制为消息建立索引,HashMap的设计包含两个基本点:哈希槽与哈希冲突的链表结构。




Index包含Index文件头、哈希槽、Index条目(数据)。Index文件头包含40字节,记录该Index的统计信息,其结构如下。

1)beginTimestamp:Index文件中消息的最小存储时间。

2)endTimestamp:Index文件中消息的最大存储时间。

3)beginPhyoffset:Index文件中消息的最小物理偏移量(CommitLog文件偏移量)。

4)endPhyoffset:Index文件中消息的最大物理偏移量(CommitLog文件偏移量)。

5)hashslotCount:hashslot个数,并不是哈希槽使用的个数,在这里意义不大。

6)indexCount:Index条目列表当前已使用的个数,Index条目在Index条目列表中按顺序存储。

一个Index默认包含500万个哈希槽。哈希槽存储的是落在该哈希槽的哈希码最新的Index索引。默认一个Index文件包含2000万个条目,每个Index条目结构如下。

1)hashcode:key的哈希码。

2)phyoffset:消息对应的物理偏移量。


3)timedif:该消息存储时间与第一条消息的时间戳的差值,若小于0,则该消息无效。

4)pre index no:该条目的前一条记录的Index索引,当出现哈希冲突时,构建链表结构。

接下来重点分析如何将Map<String/*消息索引key*/,long phyOffset/*消息物理偏移量*/>存入Index文件,以及如何根据消息索引key快速查找消息。

RocketMQ将消息索引键与消息偏移量的映射关系写入Index的实现方法为public boolean putKey(final String key, final long phyOffset, final long storeTimestamp),参数含义分别为消息索引、消息物理偏移量、消息存储时间

消息读写队列的概念

每个tpoic 在broker 中创建的时候都会默认创建4个读队列和4个写队列

独写队列不是我们传统意义理解的独写分离实际存在的队列,实际上只是两个数字变量,

用来返回给消息生产者和消息消费者选择发送队列用的,

比如生产者连接broker topic-1的时候如果写队列设置4,那么就会返回broker-0 ,broker-1,broker-2,broker-3

这时候就会从0~3选择一个发送到broker ,消费者连接borker topic-1的时候如果读队列设置未4,根据nameserver 负载均衡后

那么就会会返回broker-0 ,broker-1,broker-2,broker-3,一个或者多个,


注意点:无论一发送端还是消费端,实际上都是针对文件的操作,

也就是上面提到的commitLog 和consumeQuene,而不是针对的java的实际几个队列,主要流程图下图

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
3天前
|
负载均衡 监控 算法
【微服务 SpringCloud】实用篇 · Eureka注册中心
【微服务 SpringCloud】实用篇 · Eureka注册中心
12 1
|
3天前
|
存储 SpringCloudAlibaba Java
【微服务 SpringCloud】实用篇 · 服务拆分和远程调用
【微服务 SpringCloud】实用篇 · 服务拆分和远程调用
18 2
|
2天前
|
消息中间件 Java 数据安全/隐私保护
Spring Cloud 项目中实现推送消息到 RabbitMQ 消息中间件
Spring Cloud 项目中实现推送消息到 RabbitMQ 消息中间件
|
3天前
|
Prometheus 监控 负载均衡
【SpringCloud】微服务重点解析
【SpringCloud】微服务重点解析
13 0
|
3天前
|
缓存 负载均衡 算法
【微服务 SpringCloud】实用篇 · Ribbon负载均衡
【微服务 SpringCloud】实用篇 · Ribbon负载均衡
11 0
|
4天前
|
消息中间件 Java RocketMQ
Spring Cloud RocketMQ:构建可靠消息驱动的微服务架构
【4月更文挑战第28天】消息队列在微服务架构中扮演着至关重要的角色,能够实现服务之间的解耦、异步通信以及数据分发。Spring Cloud RocketMQ作为Apache RocketMQ的Spring Cloud集成,为微服务架构提供了可靠的消息传输机制。
30 1
|
3天前
|
Dubbo Java 应用服务中间件
Spring Cloud Dubbo: 微服务通信的高效解决方案
【4月更文挑战第28天】在微服务架构的发展中,服务间的高效通信至关重要。Spring Cloud Dubbo 提供了一种基于 RPC 的通信方式,使得服务间的调用就像本地方法调用一样简单。本篇博客将探讨 Spring Cloud Dubbo 的核心概念,并通过具体实例展示其在项目中的实战应用。
22 2
|
22小时前
|
运维 监控 Docker
使用Docker进行微服务架构的部署
【5月更文挑战第18天】本文探讨了如何使用Docker进行微服务架构部署,介绍了Docker的基本概念,如容器化平台和核心组件,以及它与微服务的关系。通过Docker,每个微服务可独立运行在容器中,便于构建、测试和部署。文章详细阐述了使用Docker部署微服务的步骤,包括定义服务、编写Dockerfile、构建镜像、运行容器、配置服务通信、监控和日志管理以及扩展和更新。Docker为微服务提供了可移植、可扩展的解决方案,是现代微服务架构的理想选择。
|
1天前
|
敏捷开发 监控 API
构建高效微服务架构:从理论到实践
【5月更文挑战第18天】 在当今快速发展的软件开发领域,微服务架构已经成为一种流行的设计模式,它通过将大型应用程序分解为一系列小型、独立的服务来提高系统的可伸缩性、弹性和维护性。本文旨在探讨如何从理论走向实践,构建一个高效的微服务架构。文章首先介绍微服务的基本概念和优势,然后详细讨论了在设计和部署微服务时需要考虑的关键因素,包括服务划分、通信机制、数据一致性、容错处理和监控策略。最后,结合具体案例分析,展示如何在现实世界中应用这些原则,确保微服务架构的高效运行。
|
1天前
|
存储 弹性计算 运维
探索微服务架构下的服务治理
【5月更文挑战第18天】 在当今软件工程领域,微服务架构因其灵活性、可扩展性以及促进团队协作等优势而受到广泛青睐。然而,随着系统规模的增长和服务数量的膨胀,服务治理成为确保系统稳定性和高效性的关键因素。本文将深入探讨微服务环境下的服务治理实践,包括服务发现、配置管理、负载均衡、故障处理等关键方面,旨在为开发者提供一套行之有效的服务治理策略。