转发数据到 ConsumerQueue 文件|学习笔记

简介: 快速学习转发数据到 ConsumerQueue 文件

开发者学堂课程【RocketMQ 知识精讲与项目实战(第三阶段):转发数据到 ConsumerQueue 文件】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/704/detail/12484


转发数据 ConsumerQueue 文件                            

                                           

数据更新到 ConsumerQueue 的一个基本流程。

去循环,调用两个 Dispatcher 。

public void doDispatch(DispatchRequest req){

for(CommitLogDispatcher dispatcher : this.dispatcherList)

{

dispatcher.dispatch(req);

}

}

分别是给 ConsumerQueen 去进行数据分发的 Dispatcher ,和给 index 进行数据分发的 Dispatcher 。

image.png进入给 ConsumerQueue 进行数据分发的类当中

image.png会通过 putMessagePositionInfo 方法去进行具体的数据分发的请求。

defaultMessageStore.this.putMessagePositionInfo(request);

public void putMessagePositionInfo(DispatchRequest dispatchRequest){

ConsumeQueue cq = this.findConsumeQueue(dispatchRequest.getTopic(),dispatchRequest.getQueueId())

Cq.putMessagePositionInfoWrapper(dispatchRequest);

}

发现第一行代码会根据消息主题和队列 ID 获得消息消费队列。现在给了一个消息队列 ConsumerQueue ,要去分发消息,所以先拿到当前这个主题 getTopic ,根据主题 ID getQueue 去拿到消息队列,然后再通过 putMessagePositionInfoWrapper  去处理当前的请求。

有一个循环,这个循环 maxRetries ,循环30次。

这里会将消息偏移量,消息长度, tag 写入到 ByteBuffer 缓冲区当中。前面的代码是做了一些检查的工作。

最核心的代码 putMessagePositionInfo ,在这里才真正进行数据的分发。点进去。

boolean result = this.putMessagePositionInfo(request.getCommitLogOffset(),

首先将消息偏移量,消息长度,tag 写到 byteBuffer 。

然后获得 mappedFile 的文件。

MappedFile mappedFile = this.mappedFileQueue.getLastMappedFile(expectLogicOffset);

通过 mappedFile 追加数据。

return mappedFile.appendMessage(this.byteBufferIndex.array());

数据已经写入到以下位置代码里。

this.byteBufferIndex.flip();

this.byteBufferIndex.limit(CQ_STORE_UNIT_SIZE);

this.byteBufferIndex.putLong(offset);

this.byteBufferIndex.putInt(size);

this.byteBufferIndex.putLong(tagsCode);

这就是给 ConsumerQueue 进行数据分发的基本的流程,也是通过内存映射的方式去进行磁盘写入。最终也拿到了 mappedFile 映射文件,然后追加在内存当中对应的数据。

以上是转发 ConsumerQueue 的基本流程。

相关文章
|
6天前
|
存储 弹性计算 人工智能
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
2025年9月24日,阿里云弹性计算团队多位产品、技术专家及服务器团队技术专家共同在【2025云栖大会】现场带来了《通用计算产品发布与行业实践》的专场论坛,本论坛聚焦弹性计算多款通用算力产品发布。同时,ECS云服务器安全能力、资源售卖模式、计算AI助手等用户体验关键环节也宣布升级,让用云更简单、更智能。海尔三翼鸟云服务负责人刘建锋先生作为特邀嘉宾,莅临现场分享了关于阿里云ECS g9i推动AIoT平台的场景落地实践。
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
|
5天前
|
云安全 人工智能 自然语言处理
阿里云x硅基流动:AI安全护栏助力构建可信模型生态
阿里云AI安全护栏:大模型的“智能过滤系统”。
|
5天前
|
人工智能 自然语言处理 自动驾驶
关于举办首届全国大学生“启真问智”人工智能模型&智能体大赛决赛的通知
关于举办首届全国大学生“启真问智”人工智能模型&智能体大赛决赛的通知
|
Linux 虚拟化 iOS开发
VMware Workstation Pro 25H2 for Windows & Linux - 领先的免费桌面虚拟化软件
VMware Workstation Pro 25H2 for Windows & Linux - 领先的免费桌面虚拟化软件
1080 4
|
8天前
|
存储 机器学习/深度学习 人工智能
大模型微调技术:LoRA原理与实践
本文深入解析大语言模型微调中的关键技术——低秩自适应(LoRA)。通过分析全参数微调的计算瓶颈,详细阐述LoRA的数学原理、实现机制和优势特点。文章包含完整的PyTorch实现代码、性能对比实验以及实际应用场景,为开发者提供高效微调大模型的实践指南。
677 2
|
6天前
|
编解码 自然语言处理 文字识别
Qwen3-VL再添丁!4B/8B Dense模型开源,更轻量,仍强大
凌晨,Qwen3-VL系列再添新成员——Dense架构的Qwen3-VL-8B、Qwen3-VL-4B 模型,本地部署友好,并完整保留了Qwen3-VL的全部表现,评测指标表现优秀。
510 7
Qwen3-VL再添丁!4B/8B Dense模型开源,更轻量,仍强大
|
7天前
|
JavaScript API 开发工具
如何在原生App中调用Uniapp的原生功能?
如何在原生App中调用Uniapp的原生功能?
331 139