消息存储文件介绍|学习笔记

简介: 快速学习消息存储文件介绍

开发者学堂课程【RocketMQ 知识精讲与项目实战(第三阶段)消息存储文件介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/704/detail/12479


消息存储文件介绍

 

消息存储文件目录

消息存储的第三个部分就是存储文件,最终消息如果存储在磁盘,是存储到指定的存储的目录下,这里面有这么多文件和文件夹,分别指什么意思?

image.png1. commitLog:消息存储目录

它是指所有的消息就被真正的追加都是消息的主题内容在这里面。

image.png

2.config:运行期间一些配置信息

这个目录顾名思义是一些配置信息,这个配置信息主要是在运行期间所产生的配置信息,都在如下图这里面。image.png

3.consumerqueue:消息消费队列存储目录

主要目的是为了加快消息检索的消息索引,消息索引中有以主题为文件夹的名字,存储了每一个消息队列的索引信息,真正的消费者在消费时从这当中找到消息的索引然后在commitLog中获取消息。

image.png4.index:消息索引文件存储目录

专门提供根据消息ID、消息属性进行消息索引的目录。

image.png

5.abort:如果存在改文件寿命Broker非正常关闭

是一个用来判断当前Broker是否正常关闭的文件,后面会专门讲解。abort是在消息被启动被Broker启动之后创建,如果Broker正常关闭会将其删除,通过abort文件的存在与否,判断Broker是否正常关闭。

6.checkpoint:文件检查点,

存储CommitLog文件最后一次刷盘时间戳、consumerqueue最后一次刷盘时间,index索引文件最后一次时间戳。

这些就是整个消息存储的目录。

相关文章
|
4月前
|
消息中间件 存储 JSON
【消息队列开发】 把消息写入文件
【消息队列开发】 把消息写入文件
|
4月前
|
消息中间件 存储 Kafka
Kafka(二)【文件存储机制 & 生产者】(1)
Kafka(二)【文件存储机制 & 生产者】
|
4月前
|
消息中间件 存储 Kafka
Kafka(二)【文件存储机制 & 生产者】(2)
Kafka(二)【文件存储机制 & 生产者】
|
4月前
|
消息中间件 Prometheus 监控
深入解析Kafka消息丢失的原因与解决方案
深入解析Kafka消息丢失的原因与解决方案
366 0
|
4月前
|
存储 消息中间件 算法
【消息队列开发】 实现消息持久化
【消息队列开发】 实现消息持久化
|
5月前
|
存储 分布式计算 Hadoop
HDFS如何处理大文件和小文件的存储和访问?
HDFS如何处理大文件和小文件的存储和访问?
120 0
|
5月前
|
消息中间件 JSON 监控
Kafka 的消息格式:了解消息结构与序列化
Kafka 作为一款高性能的消息中间件系统,其消息格式对于消息的生产、传输和消费起着至关重要的作用。本篇博客将深入讨论 Kafka 的消息格式,包括消息的结构、序列化与反序列化,以及一些常用的消息格式选项。通过更丰富的示例代码和深入的解析,希望能够帮助大家更好地理解 Kafka 消息的内部机制。
|
消息中间件 存储 缓存
RocketMQ之Broker如何实现磁盘文件高性能读写
Broker中大量的使用mmap技术去实现CommitLog这种大磁盘文件的高性能读写优化的。 通过之前的学习,我们知道了一点,就是Broker对磁盘文件的写入主要是借助直接写入os cache来实现性能优化的,因为直接写入os cache,相当于就是写入内存一样的性能,后续等os内核中的线程异步把cache中的数据刷入磁盘文件即可。
|
消息中间件 存储 Java
10 张图告诉你 RocketMQ 是怎样保存消息的
10 张图告诉你 RocketMQ 是怎样保存消息的
218 0
10 张图告诉你 RocketMQ 是怎样保存消息的