转发数据到 ConsumerQueue 文件|学习笔记

简介: 快速学习转发数据到 ConsumerQueue 文件

开发者学堂课程【RocketMQ 知识精讲与项目实战(第三阶段):转发数据到 ConsumerQueue 文件】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/704/detail/12484


转发数据 ConsumerQueue 文件                            

                                           

数据更新到 ConsumerQueue 的一个基本流程。

去循环,调用两个 Dispatcher 。

public void doDispatch(DispatchRequest req){

for(CommitLogDispatcher dispatcher : this.dispatcherList)

{

dispatcher.dispatch(req);

}

}

分别是给 ConsumerQueen 去进行数据分发的 Dispatcher ,和给 index 进行数据分发的 Dispatcher 。

image.png进入给 ConsumerQueue 进行数据分发的类当中

image.png会通过 putMessagePositionInfo 方法去进行具体的数据分发的请求。

defaultMessageStore.this.putMessagePositionInfo(request);

public void putMessagePositionInfo(DispatchRequest dispatchRequest){

ConsumeQueue cq = this.findConsumeQueue(dispatchRequest.getTopic(),dispatchRequest.getQueueId())

Cq.putMessagePositionInfoWrapper(dispatchRequest);

}

发现第一行代码会根据消息主题和队列 ID 获得消息消费队列。现在给了一个消息队列 ConsumerQueue ,要去分发消息,所以先拿到当前这个主题 getTopic ,根据主题 ID getQueue 去拿到消息队列,然后再通过 putMessagePositionInfoWrapper  去处理当前的请求。

有一个循环,这个循环 maxRetries ,循环30次。

这里会将消息偏移量,消息长度, tag 写入到 ByteBuffer 缓冲区当中。前面的代码是做了一些检查的工作。

最核心的代码 putMessagePositionInfo ,在这里才真正进行数据的分发。点进去。

boolean result = this.putMessagePositionInfo(request.getCommitLogOffset(),

首先将消息偏移量,消息长度,tag 写到 byteBuffer 。

然后获得 mappedFile 的文件。

MappedFile mappedFile = this.mappedFileQueue.getLastMappedFile(expectLogicOffset);

通过 mappedFile 追加数据。

return mappedFile.appendMessage(this.byteBufferIndex.array());

数据已经写入到以下位置代码里。

this.byteBufferIndex.flip();

this.byteBufferIndex.limit(CQ_STORE_UNIT_SIZE);

this.byteBufferIndex.putLong(offset);

this.byteBufferIndex.putInt(size);

this.byteBufferIndex.putLong(tagsCode);

这就是给 ConsumerQueue 进行数据分发的基本的流程,也是通过内存映射的方式去进行磁盘写入。最终也拿到了 mappedFile 映射文件,然后追加在内存当中对应的数据。

以上是转发 ConsumerQueue 的基本流程。

相关文章
|
4天前
|
人工智能 运维 安全
|
2天前
|
人工智能 异构计算
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
|
9天前
|
人工智能 JavaScript 测试技术
Qwen3-Coder入门教程|10分钟搞定安装配置
Qwen3-Coder 挑战赛简介:无论你是编程小白还是办公达人,都能通过本教程快速上手 Qwen-Code CLI,利用 AI 轻松实现代码编写、文档处理等任务。内容涵盖 API 配置、CLI 安装及多种实用案例,助你提升效率,体验智能编码的乐趣。
817 109
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
B站开源IndexTTS2,用极致表现力颠覆听觉体验
在语音合成技术不断演进的背景下,早期版本的IndexTTS虽然在多场景应用中展现出良好的表现,但在情感表达的细腻度与时长控制的精准性方面仍存在提升空间。为了解决这些问题,并进一步推动零样本语音合成在实际场景中的落地能力,B站语音团队对模型架构与训练策略进行了深度优化,推出了全新一代语音合成模型——IndexTTS2 。
415 9
|
3天前
|
人工智能 测试技术 API
智能体(AI Agent)搭建全攻略:从概念到实践的终极指南
在人工智能浪潮中,智能体(AI Agent)正成为变革性技术。它们具备自主决策、环境感知、任务执行等能力,广泛应用于日常任务与商业流程。本文详解智能体概念、架构及七步搭建指南,助你打造专属智能体,迎接智能自动化新时代。
|
4天前
|
机器学习/深度学习 传感器 算法
Edge Impulse:面向微型机器学习的MLOps平台——论文解读
Edge Impulse 是一个面向微型机器学习(TinyML)的云端MLOps平台,致力于解决嵌入式与边缘设备上机器学习开发的碎片化与异构性难题。它提供端到端工具链,涵盖数据采集、信号处理、模型训练、优化压缩及部署全流程,支持资源受限设备的高效AI实现。平台集成AutoML、量化压缩与跨硬件编译技术,显著提升开发效率与模型性能,广泛应用于物联网、可穿戴设备与边缘智能场景。
186 127