AI 助理
备案控制台
开发者社区 微服务 文章 正文

RocketMQ事务消息及消息索引设计原理

2022-05-02 164
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： RocketMQ事务消息及消息索引设计原理

RocketMQ事务消息

image.png

image.png

image.png

通过Op消息来确定提交或回滚事务的最终状态

image.png

image.png

一阶段存储的消息的内容
二阶段时恢复出一条完整的普通消息
然后走一遍消息写入流程


消息查询

按照MessageId查询消息

image.png

客户端通过messageId得到broker地址
然后再通过commitlog offset读取真正的记录


按照Message Key查询消息

image.png

文件大小是固定的等于40+500W*4+2000W*20= 420000040个字节大小
  • Header
保存一些总的统计信息
  • Slot Table
不保存真正的索引数据，而是保存每个槽位对应的单向链表的头
  • 20*2000W
20*2000W 是真正的索引数据
即一个 Index File 可以保存 2000W个索引。

类似于HashMap数组+链表的数据结构

image.png

Timestamp记录的是消息storeTimestamp之间的差
并不是一个绝对的时间
文章标签：
云消息队列 MQ
消息中间件
索引
RocketMQ
关键词：
云消息队列 MQ原理
云消息队列 MQ事务消息
云消息队列 MQ索引
云消息队列 MQ事务原理
云消息队列 MQ事务消息原理
相关实践学习
消息队列RocketMQ版：基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能，涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列：消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验：基于MNS，0基础轻松构建 Web Client 本节课带您一起基于MNS，0基础轻松构建 Web Client
平凡人笔记
目录
相关文章
mikechen的互联网架构
|
7天前
|
消息中间件 存储 Kafka
RocketMQ 工作原理图解，看这篇就够了！
本文详细解析了 RocketMQ 的核心架构、消息领域模型、关键特性和应用场景，帮助深入理解消息中间件的工作原理。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
mikechen的互联网架构
56 11
RocketMQ 工作原理图解，看这篇就够了！
服务端技术栈
|
3月前
|
消息中间件 存储 数据库
深入学习RocketMQ的底层存储设计原理
文章深入探讨了RocketMQ的底层存储设计原理，分析了其如何通过将数据和索引映射到内存、异步刷新磁盘以及消息内容的混合存储来实现高性能的读写操作，从而保证了RocketMQ作为一款低延迟消息队列的读写性能。
服务端技术栈
84 0
技术自由圈/原疯狂创客圈
|
1月前
|
消息中间件 Java 数据库
新版 Seata 集成 RocketMQ事务消息，越来越 牛X 了！阿里的 Seata ， yyds ！
这里 借助 Seata 集成 RocketMQ 事务消息的 新功能，介绍一下一个新遇到的面试题：如果如何实现 **强弱一致性 结合**的分布式事务？
技术自由圈/原疯狂创客圈
83 2
新版 Seata 集成 RocketMQ事务消息，越来越 牛X 了！阿里的 Seata ， yyds ！
mikechen的互联网架构
|
19天前
|
消息中间件 存储 Kafka
MQ 消息队列核心原理，12 条最全面总结！
本文总结了消息队列的12个核心原理，涵盖消息顺序性、ACK机制、持久化及高可用性等内容。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
mikechen的互联网架构
49 3
猿java
|
1月前
|
消息中间件 监控 供应链
深度剖析 RocketMQ 事务消息！
本文深入探讨了 RocketMQ 的事务消息原理及其应用场景。通过详细的源码分析，阐述了事务消息的基本流程，包括准备阶段、提交阶段及补偿机制。文章还提供了示例代码，帮助读者更好地理解整个过程。此外，还讨论了事务消息的优缺点、适用场景及注意事项，如确保本地事务的幂等性、合理设置超时时间等。尽管事务消息增加了系统复杂性，但在需要保证消息一致性的场景中，它仍是一种高效的解决方案。
猿java
82 2
服务端技术栈
|
3月前
|
消息中间件 负载均衡 API
RocketMQ生产者负载均衡(轮询机制)核心原理
文章深入分析了RocketMQ生产者的负载均衡机制，特别是轮询机制的实现原理，揭示了如何通过`ThreadLocal`技术和消息队列的选播策略来确保消息在多个队列之间均衡发送，以及如何通过灵活的API支持自定义负载均衡策略。
服务端技术栈
80 3
服务端技术栈
|
3月前
|
消息中间件 存储 负载均衡
RocketMQ消费者消费消息核心原理（含长轮询机制）
这篇文章深入探讨了Apache RocketMQ消息队列中消费者消费消息的核心原理，特别是长轮询机制。文章从消费者和Broker的交互流程出发，详细分析了Push和Pull两种消费模式的内部实现，以及它们是如何通过长轮询机制来优化消息消费的效率。文章还对RocketMQ的消费者启动流程、消息拉取请求的发起、Broker端处理消息拉取请求的流程进行了深入的源码分析，并总结了RocketMQ在设计上的优点，如单一职责化和线程池的使用等。
服务端技术栈
247 0
RocketMQ消费者消费消息核心原理（含长轮询机制）
服务端技术栈
|
3月前
|
消息中间件 存储 RocketMQ
2分钟看懂RocketMQ延迟消息核心原理
本文从源码层面解析了RocketMQ延迟消息的实现原理，包括延迟消息的使用、Broker端处理机制以及定时任务对延迟消息的处理流程。
服务端技术栈
140 0
2分钟看懂RocketMQ延迟消息核心原理
服务端技术栈
|
3月前
|
消息中间件 存储 缓存
RocketMQ发送消息原理（含事务消息）
本文深入探讨了RocketMQ发送消息的原理，包括生产者端的发送流程、Broker端接收和处理消息的流程，以及事务消息的特殊处理机制，提供了对RocketMQ消息发送机制全面的理解。
服务端技术栈
239 0
RocketMQ发送消息原理（含事务消息）
最好zzz
|
3月前
|
消息中间件 监控 安全
大事务+MQ普通消息线上问题排查过程技术分享
【8月更文挑战第23天】在复杂的企业级系统中，大事务与消息队列（MQ）的结合使用是一种常见的架构设计，用于解耦系统、提升系统响应性和扩展性。然而，这种设计也带来了其特有的挑战，特别是在处理退款业务等涉及金融交易的高敏感场景时。本文将围绕“大事务+MQ普通消息线上问题排查过程”这一主题，分享一次实际工作中的技术排查经验，旨在为大家提供可借鉴的解决思路和方法。
最好zzz
55 0

热门文章

最新文章

  • 1
    2018最新蚂蚁金服面试题：Docker+秒杀设计+RocketMQ+亿级数据设计
  • 2
    RocketMQ与MYSQL事务消息整合
  • 3
    RocketMQ：一个纯java的开源消息中间件--开发测试环境搭建
  • 4
    喜讯！RocketMQ成为Apache软件基金会顶级开源项目
  • 5
    自顶向下学习 RocketMQ（九）：回溯消费
  • 6
    开篇：在Spring生态中玩转RocketMQ
  • 7
    Docker 安装 RocketMQ 并结合 SpringBoot 使用实例
  • 8
    RocketMQ 客户端负载均衡机制详解及最佳实践
  • 9
    在华为鲲鹏OpenEuler20.03系统上安装RocketMQ
  • 10
    消息队列RocketMQ版：消费异常运维排查体验
  • 1
    Spring Cloud 项目中实现推送消息到 RabbitMQ 消息中间件
    84
  • 2
    RocketMQ源码分析之事务消息实现原理下篇-消息服务器Broker提交回滚事务实现原理
    65
  • 3
    java面试刷题软件kafka和mq的区别面试
    68
  • 4
    MQTT协议与EMQ
    173
  • 5
    MQ产品使用合集之RocketMQ发消息失败了，proxy报connect to null failed如何解决
    791
  • 6
    MQ产品使用合集之设置rocketmq的timerMaxDelaySec时间出现报错如何解决
    326
  • 7
    MQ产品使用合集之在MQTT中，出现了 NO HEART 错误如何解决
    120
  • 8
    MQ产品使用合集之RocketMQ如果配置所有的ip，有些namesrv挂了的话，消息就发送失败了，消费也是失败的如何解决
    76
  • 9
    MQ产品使用合集之使用的RocketMQ5.1.3时，grpc客户端没有产生消息轨迹如何解决
    163
  • 10
    MQ产品使用合集之有RocketMQ arm架构的镜像吗
    322

    • 相关课程

    更多
  • 消息队列 RocketMQ 消息集成
  • 消息队列 MNS 入门课程
  • RocketMQ知识精讲与项目实战（第一阶段）
  • RocketMQ知识精讲与项目实战（第二阶段）
  • RocketMQ知识精讲与项目实战（第三阶段）
  • 微服务实战-RocketMQ Binder

    • 相关电子书

    更多
  • RocketMQ Client-GO 介绍
  • RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
  • 基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台

    • 相关实验场景

    更多
  • 通过轻量消息队列（原MNS）主题HTTP订阅+ARMS实现自定义数据多渠道告警
  • 快速体验云消息队列RocketMQ版
  • 快速入门轻量消息队列（原MNS）
  • 快速学会使用云消息队列RabbitMQ版
  • 消息队列RocketMQ版：消费异常运维排查体验
  • 消息队列RocketMQ版：定时消息通知功能体验
    • 下一篇
    阿里云OSS设置跨域访问