消息队列(三)RocketMQ如何存储消息

简介:

Rocket的消息是有consume queue和commit log组成。


Consume Queue

Consume queue是消息的逻辑队列,相当于字典目录,用来指定消息在物理文件(commit log)上的位置,我们可以在配置中指定consumequeue和commitlog存储的目录。每一个topic下的每个queue都有一个对应的consumqueue文件。

5.png

  • 根据topic和queueid来组织文件,topicA中有2个队列(0和1),那么topicA和queueID=0就组成一个consume queue,另外topicA和queueID=1就组成另外一个consume queue

  • 按照消费端的GroupNanme来分组重试队列,如果消费端消费失败,消息将被发往重试队列,图中的%RETRY%ConsumerGroupA

  • 按照消费端的GroupName来分组死信队列,如果消费端消费失败,并重试指定次数后,仍然失败,则发往死信队列(用于存放无法传递的消息),图中的%DLQ%ConsumerGroupA

Consume queue中的存储单元是20字节长度的二进制数据,顺序读写

6.png

  • commitLog Offset,这条消息在commit log中的实际偏移量

  • size存储的是这条消息的大小

  • message tag hashcode,是存储这个消息的TAG的哈希值,用于订阅时消息过滤


Commit Log

消息存放的物理文件,每台broker上的commit log被本机所有的queue共享不做任何区分。消息存储内容长度不固定,文件顺序写,随机读。








      本文转自linuxjavachen  51CTO博客,原文链接:http://blog.51cto.com/littledevil/2068723,如需转载请自行联系原作者


相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
打赏
0
0
0
0
348
分享
相关文章
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
113 6
深入学习RocketMQ的底层存储设计原理
文章深入探讨了RocketMQ的底层存储设计原理,分析了其如何通过将数据和索引映射到内存、异步刷新磁盘以及消息内容的混合存储来实现高性能的读写操作,从而保证了RocketMQ作为一款低延迟消息队列的读写性能。
开发者如何使用轻量消息队列MNS
【10月更文挑战第19天】开发者如何使用轻量消息队列MNS
487 17
云消息队列RabbitMQ实践解决方案评测
一文带你详细了解云消息队列RabbitMQ实践的解决方案优与劣
151 15
MQ 消息队列核心原理,12 条最全面总结!
本文总结了消息队列的12个核心原理,涵盖消息顺序性、ACK机制、持久化及高可用性等内容。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
解决方案 | 云消息队列RabbitMQ实践
在实际业务中,网站因消息堆积和高流量脉冲导致系统故障。为解决这些问题,云消息队列 RabbitMQ 版提供高性能的消息处理和海量消息堆积能力,确保系统在流量高峰时仍能稳定运行。迁移前需进行技术能力和成本效益评估,包括功能、性能、限制值及费用等方面。迁移步骤包括元数据迁移、创建用户、网络打通和数据迁移。
134 4
云消息队列RabbitMQ实践解决方案评测报告
本报告旨在对《云消息队列RabbitMQ实践》解决方案进行综合评测。通过对该方案的原理理解、部署体验、设计验证以及实际应用价值等方面进行全面分析,为用户提供详尽的反馈与建议。
133 16
阿里云云消息队列RabbitMQ实践解决方案评测报告
阿里云云消息队列RabbitMQ实践解决方案评测报告
129 9

相关产品

  • 云消息队列 MQ
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等