AI 助理
文档备案控制台
开发者社区 微服务 文章 正文

RocketMQ事务消息及消息索引设计原理

2022-05-02 243
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： RocketMQ事务消息及消息索引设计原理

RocketMQ事务消息

image.png

image.png

image.png

通过Op消息来确定提交或回滚事务的最终状态

image.png

image.png

一阶段存储的消息的内容
二阶段时恢复出一条完整的普通消息
然后走一遍消息写入流程


消息查询

按照MessageId查询消息

image.png

客户端通过messageId得到broker地址
然后再通过commitlog offset读取真正的记录


按照Message Key查询消息

image.png

文件大小是固定的等于40+500W*4+2000W*20= 420000040个字节大小
  • Header
保存一些总的统计信息
  • Slot Table
不保存真正的索引数据，而是保存每个槽位对应的单向链表的头
  • 20*2000W
20*2000W 是真正的索引数据
即一个 Index File 可以保存 2000W个索引。

类似于HashMap数组+链表的数据结构

image.png

Timestamp记录的是消息storeTimestamp之间的差
并不是一个绝对的时间
文章标签：
云消息队列 MQ
消息中间件
索引
RocketMQ
关键词：
云消息队列 MQ原理
云消息队列 MQ事务消息
云消息队列 MQ索引
云消息队列 MQ事务原理
云消息队列 MQ事务消息原理
相关实践学习
消息队列RocketMQ版：基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能，涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列：消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验：基于MNS，0基础轻松构建 Web Client 本节课带您一起基于MNS，0基础轻松构建 Web Client
平凡人笔记
目录
相关文章
东阳马生架构
|
11月前
|
消息中间件 存储 缓存
RocketMQ原理—4.消息读写的性能优化
本文详细解析了RocketMQ消息队列的核心原理与性能优化机制，涵盖Producer消息分发、Broker高并发写入、Consumer拉取消息流程等内容。重点探讨了基于队列的消息分发、Hash有序分发、CommitLog内存写入优化、ConsumeQueue物理存储设计等关键技术点。同时分析了数据丢失场景及解决方案，如同步刷盘与JVM OffHeap缓存分离策略，并总结了写入与读取流程的性能优化方法，为理解和优化分布式消息系统提供了全面指导。
东阳马生架构
641 0
RocketMQ原理—4.消息读写的性能优化
东阳马生架构
|
11月前
|
消息中间件 存储 设计模式
RocketMQ原理—5.高可用+高并发+高性能架构
本文主要从高可用架构、高并发架构、高性能架构三个方面来介绍RocketMQ的原理。
东阳马生架构
3296 21
RocketMQ原理—5.高可用+高并发+高性能架构
东阳马生架构
|
11月前
|
存储 消息中间件 缓存
RocketMQ原理—3.源码设计简单分析下
本文介绍了Producer作为生产者是如何创建出来的、启动时是如何准备好相关资源的、如何从拉取Topic元数据的、如何选择MessageQueue的、与Broker是如何进行网络通信的，Broker收到一条消息后是如何存储的、如何实时更新索引文件的、如何实现同步刷盘以及异步刷盘的、如何清理存储较久的磁盘数据的，Consumer作为消费者是如何创建和启动的、消费者组的多个Consumer会如何分配消息、Consumer会如何从Broker拉取一批消息。
东阳马生架构
496 11
RocketMQ原理—3.源码设计简单分析下
东阳马生架构
|
11月前
|
存储 消息中间件 网络协议
RocketMQ原理—1.RocketMQ整体运行原理
本文详细解析了RocketMQ的整体运行原理，涵盖从生产者到消费者的全流程。首先介绍生产者发送消息的机制，包括Topic与MessageQueue的关系及写入策略；接着分析Broker如何通过CommitLog和ConsumeQueue实现消息持久化，并探讨同步与异步刷盘的优缺点。同时，讲解基于DLedger技术的主从同步原理，确保高可用性。消费者部分则重点讨论消费模式（集群 vs 广播）、拉取消息策略及负载均衡机制。网络通信层面，基于Netty的高性能架构通过多线程池分工协作提升并发能力。最后，揭示mmap与PageCache技术优化文件读写的细节，总结了RocketMQ的核心运行机制。
东阳马生架构
1194 5
RocketMQ原理—1.RocketMQ整体运行原理
服务端技术栈
|
消息中间件 存储 数据库
深入学习RocketMQ的底层存储设计原理
文章深入探讨了RocketMQ的底层存储设计原理，分析了其如何通过将数据和索引映射到内存、异步刷新磁盘以及消息内容的混合存储来实现高性能的读写操作，从而保证了RocketMQ作为一款低延迟消息队列的读写性能。
服务端技术栈
649 0
东阳马生架构
|
11月前
|
消息中间件 Java 数据管理
RocketMQ原理—2.源码设计简单分析上
本文介绍了NameServer的启动脚本、启动时会解析哪些配置、如何初始化Netty网络服务器、如何启动Netty网络服务器，介绍了Broker启动时是如何初始化配置的、BrokerController的创建以及包含的组件、BrokerController的初始化、启动、Broker如何把自己注册到NameServer上、BrokerOuterAPI是如何发送注册请求的，介绍了NameServer如何处理Broker的注册请求、Broker如何发送定时心跳
东阳马生架构
433 8
mikechen的互联网架构
|
消息中间件 存储 Kafka
RocketMQ 工作原理图解，看这篇就够了！
本文详细解析了 RocketMQ 的核心架构、消息领域模型、关键特性和应用场景，帮助深入理解消息中间件的工作原理。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
mikechen的互联网架构
7775 11
RocketMQ 工作原理图解，看这篇就够了！
技术自由圈/原疯狂创客圈
|
消息中间件 Java 数据库
新版 Seata 集成 RocketMQ事务消息，越来越 牛X 了！阿里的 Seata ， yyds ！
这里 借助 Seata 集成 RocketMQ 事务消息的 新功能，介绍一下一个新遇到的面试题：如果如何实现 **强弱一致性 结合**的分布式事务？
技术自由圈/原疯狂创客圈
599 3
新版 Seata 集成 RocketMQ事务消息，越来越 牛X 了！阿里的 Seata ， yyds ！
mikechen的互联网架构
|
消息中间件 存储 Kafka
MQ 消息队列核心原理，12 条最全面总结！
本文总结了消息队列的12个核心原理，涵盖消息顺序性、ACK机制、持久化及高可用性等内容。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
mikechen的互联网架构
1035 3
猿java
|
消息中间件 监控 供应链
深度剖析 RocketMQ 事务消息！
本文深入探讨了 RocketMQ 的事务消息原理及其应用场景。通过详细的源码分析，阐述了事务消息的基本流程，包括准备阶段、提交阶段及补偿机制。文章还提供了示例代码，帮助读者更好地理解整个过程。此外，还讨论了事务消息的优缺点、适用场景及注意事项，如确保本地事务的幂等性、合理设置超时时间等。尽管事务消息增加了系统复杂性，但在需要保证消息一致性的场景中，它仍是一种高效的解决方案。
猿java
1275 2

热门文章

最新文章

  • 1
    RabbitMQ Windows 安装、配置、使用 - 小白教程
  • 2
    消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局
  • 3
    Docker搭建Rabbitmq集群
  • 4
    Spring Cloud Stream 使用延迟消息实现定时任务（RabbitMQ）
  • 5
    rocketmq实现延迟队列思路探讨
  • 6
    Springboot----项目整合微信支付（利用RabbitMQ延迟队列处理用户退款）
  • 7
    【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服务
  • 8
    RabbitMQ 集群数据迁移
  • 9
    MQ产品使用合集之rocketmq5.x只有tcp接入点吗，python sdk需要http接入点，请问怎么使用
  • 10
    MQ - 闲聊MQ一二事儿 （Kafka、RocketMQ 、Pulsar ）
  • 1
    云消息队列 RocketMQ 版-消息集成-概述
    535
  • 2
    消息中间件第八讲：消息队列 RocketMQ 版实战、集群及原理
    964
  • 3
    【名师代练】带你玩转 RocketMQ，角逐「RocketMQ 首席评测官」
    622
  • 4
    聊聊RocketMQ名字服务
    426
  • 5
    微服务 RocketMQ-延时消息 消息过滤 管控台搜索问题
    367
  • 6
    RocketMQ-消息消费模式 顺序消费
    628
  • 7
    消息中间件-RocketMQ入门 消息发送的三种方式
    345
  • 8
    一次RocketMQ ons SDK Bug导致消息不断堆积到重试队列的案例分析
    822
  • 9
    RocketMQ极简入门-在SpringBoot中使用RocketMQ
    1485
  • 10
    RocketMQ极简入门-RocketMQ事务消息
    281

    • 相关课程

    更多
  • 消息队列 RocketMQ 消息集成
  • 消息队列 MNS 入门课程
  • RocketMQ知识精讲与项目实战（第一阶段）
  • RocketMQ知识精讲与项目实战（第二阶段）
  • RocketMQ知识精讲与项目实战（第三阶段）
  • 微服务实战-RocketMQ Binder

    • 相关电子书

    更多
  • RocketMQ Client-GO 介绍
  • RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • 基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
    • 下一篇
    狂揽7.5k星！这款开源API网关彻底解放开发者：一键聚合GPT-4、Suno、Midjourney，还能在线充值！