转发数据到 ConsumerQueue 文件|学习笔记

简介: 快速学习转发数据到 ConsumerQueue 文件

开发者学堂课程【RocketMQ 知识精讲与项目实战(第三阶段):转发数据到 ConsumerQueue 文件】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/704/detail/12484


转发数据 ConsumerQueue 文件                            

                                           

数据更新到 ConsumerQueue 的一个基本流程。

去循环,调用两个 Dispatcher 。

public void doDispatch(DispatchRequest req){

for(CommitLogDispatcher dispatcher : this.dispatcherList)

{

dispatcher.dispatch(req);

}

}

分别是给 ConsumerQueen 去进行数据分发的 Dispatcher ,和给 index 进行数据分发的 Dispatcher 。

image.png进入给 ConsumerQueue 进行数据分发的类当中

image.png会通过 putMessagePositionInfo 方法去进行具体的数据分发的请求。

defaultMessageStore.this.putMessagePositionInfo(request);

public void putMessagePositionInfo(DispatchRequest dispatchRequest){

ConsumeQueue cq = this.findConsumeQueue(dispatchRequest.getTopic(),dispatchRequest.getQueueId())

Cq.putMessagePositionInfoWrapper(dispatchRequest);

}

发现第一行代码会根据消息主题和队列 ID 获得消息消费队列。现在给了一个消息队列 ConsumerQueue ,要去分发消息,所以先拿到当前这个主题 getTopic ,根据主题 ID getQueue 去拿到消息队列,然后再通过 putMessagePositionInfoWrapper  去处理当前的请求。

有一个循环,这个循环 maxRetries ,循环30次。

这里会将消息偏移量,消息长度, tag 写入到 ByteBuffer 缓冲区当中。前面的代码是做了一些检查的工作。

最核心的代码 putMessagePositionInfo ,在这里才真正进行数据的分发。点进去。

boolean result = this.putMessagePositionInfo(request.getCommitLogOffset(),

首先将消息偏移量,消息长度,tag 写到 byteBuffer 。

然后获得 mappedFile 的文件。

MappedFile mappedFile = this.mappedFileQueue.getLastMappedFile(expectLogicOffset);

通过 mappedFile 追加数据。

return mappedFile.appendMessage(this.byteBufferIndex.array());

数据已经写入到以下位置代码里。

this.byteBufferIndex.flip();

this.byteBufferIndex.limit(CQ_STORE_UNIT_SIZE);

this.byteBufferIndex.putLong(offset);

this.byteBufferIndex.putInt(size);

this.byteBufferIndex.putLong(tagsCode);

这就是给 ConsumerQueue 进行数据分发的基本的流程,也是通过内存映射的方式去进行磁盘写入。最终也拿到了 mappedFile 映射文件,然后追加在内存当中对应的数据。

以上是转发 ConsumerQueue 的基本流程。

目录
打赏
0
0
0
0
319
分享
相关文章
网络基础重定向和转发的区别
本文介绍了网络基础中重定向和转发的区别。重定向是服务器告知客户端访问新URL,涉及两次请求,URL变化;转发是服务器内部处理,客户端无感知,URL不变。文中详细对比了两者的请求次数、数据传递及应用场景,并通过实例演示帮助理解。
计算机网络学习20:IP数据报的发送和转发过程
如果C要给F发送数据报,那么如何知道F是不是跟自己在同一个网络呢?
计算机网络学习20:IP数据报的发送和转发过程
|
10月前
流量过滤与转发路径控制
流量过滤与转发路径控制
转发与重定向有什么区别
转发与重定向有什么区别
153 0
重定向和转发之间的区别
转发与重定向的区别 转发方式:request.getRequestDispatcher().forward(); 重定向方式:response.sendRedirect(); 下面是HttpServletResponse.sendRedirect方法实现的请求重定向与RequestDispatcher.forward方法实现的请求转发的总结比较:      (1)Req
1104 0
路由转发(详细理解+实例精讲)
本文详细的介绍路由转发,内含详细的实例解析,该文你值得拥有。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等