RocketMq

简介: RocketMq

RocketMq是什么


Apache RocketMQ是阿里开源的一款高性能、高吞吐量的分布式消息中间件。在github上的介绍,rocketmq支持以下功能



Rocketmq架构


以下图片来源:http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes/


rocketmq物理架构




rocketmq逻辑架构



Producer Group


用来表示一个发送消息应用,一个Producer Group下包含多个Producer实例,可以是多台机器,也可以是一台机器的多个进程,或者一个进程的多个Producer对象。一个Producer Group可以发送多个Topic消息,Producer Group作用如下:


  1. 标识一类Producer


  1. 可以通过运维工具查询这个发送消息应用下有多个Producer实例


  1. 发送分布式事务消息时,如果Producer中途意外宕机,Broker会主动回调Producer Group内的任意一台机器来确认事务状态。


消息发送方式


同步,异步


单向


Consumer Group


用来表示一个消费消息应用,一个Consumer Group下包含多个Consumer实例,可以是多台机器,也可以是多个进程,或者是一个进程的多个Consumer对象。一个Consumer Group下的多个Consumer以均摊方式消费消息,如果设置为广播方式,那么这个Consumer Group下的每个实例都消费全量数据。


消息消费方式


集群消费,消费进度是存储在 broker 上


广播消费,消费进度是存储在各个 consumer 实例上,不进行消息失败重投


消息


RocketMq支持普通消息,有序消息和延时消息。


普通消息


普通消息即无序消息,因为无须保证顺序,生产者和消费者都只管生产和消费,不需要保证消息的顺序,所以消息可以大规模并发地发送和消费,吞吐量很高,适合大部分场景。


有序消息


有序消息就是发送和消费必须保证顺序的消息。


有序消息可以分成全局有序和局部有序。如何实现呢?


topic 只是消息的逻辑分类,内部实现其实是由 queue 组成。当 producer 把消息发送到某个 topic 时,默认是会消息发送到具体的 queue 上。


什么时候我们需要有序消息呢?


订单


延时消息


延时消息可以通过DelayTimeLevel来设置,消息延时分为如下等级


延时等级为:1s,5s,10s,30s,1m,2m,3m,4m,5m,6m,7m,8m,9m,10m,20m,30m,1h,2h。level=0,表示不延时。level=1,表示 1 级延时,对应延时 1s。level=2 表示 2 级延时,对应5s,以此类推。


什么时候我们需要延时消息呢?


关闭订单


消息过滤


通过tag


持久化


RocketMQ没有内存Buffer概念,RocketMQ的队列都是持久化磁盘,数据定期清除。 RocketMQ的消息持久化是基于文件系统,而从效率来看文件系统>kv存储>关系型数据库。


RocketMQ的数据存储


消息重试


默认每条消息最多重试 16 次,且每次重试时间间隔都不一样。如果消息重试 16 次之后还是消费失败怎么办呢?那么消息就不会再投递给消费者,而是将消息放到相对应的死信队列中。


Producer端重试 RetryTimesWhenSendFailed


Consumer端重试


相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
10月前
|
人工智能 机器人 API
小学生泪目Agent开发古诗助手
本文介绍了如何开发一个帮助小学生背古诗的AI Agent。通过阿里云的百炼大模型平台和千问,实现从需求规划、环境准备到开发与测试的全过程。该Agent不仅能根据主题找古诗、提供作者介绍和练习题,还能生成符合诗意境的图片,使学习更有趣。此外,还展示了如何通过无代码方式在百炼平台上构建智能体应用,简化开发流程。希望这能为学习AI Agent开发提供有益参考。
322 19
|
存储 SQL 微服务
常用的分布式事务解决方案(三)
常用的分布式事务解决方案(三)
|
7月前
|
SQL 大数据 数据库
RocketMQ实战—1.订单系统面临的技术挑战
本文详细分析了一个订单系统的设计与技术挑战。首先,介绍了订单系统的整体架构、业务流程及负载情况,包括电商购物流程、核心和非核心业务流程,以及真实生产中的负载压力。接着,探讨了系统面临的主要技术问题:支付后发券、发红包等操作导致性能下降;退款流程复杂且易失败;与第三方系统耦合带来的不稳定;大数据团队直接查询数据库影响性能;秒杀活动时数据库压力剧增等。最后,通过放大100倍压力的方法,梳理了高并发下的技术挑战,如核心链路优化、后台线程补偿机制、第三方系统解耦、数据获取方式改进等,为订单系统的优化提供了全面的参考。
RocketMQ实战—1.订单系统面临的技术挑战
|
7月前
|
数据采集 数据可视化 大数据
揭秘Dataphin:一站式企业级数据治理平台的全景体验!
Dataphin是阿里巴巴推出的全生命周期数据治理平台,基于OneData方法论,覆盖数据采集、管理到消费的全流程。它支持多种计算平台,提供灵活可扩展的能力,助力企业构建高效的数据中台。其强大的自动化与可视化功能,显著提升数据治理效率和质量,适用于大规模数据处理场景。未来可加强AI预测能力,为企业带来更多智能决策支持。
265 0
|
11月前
|
存储 供应链 数据可视化
2024年采购管理新趋势:最适合记录和更新采购清单的在线看板工具
在现代企业中,采购部门的任务高效协作与管理至关重要。本文介绍了六款适合采购部门的在线看板工具:板栗看板、Trello、Miro、Zoho Projects、Airtable和TeamGantt,分别从关键功能、优势、劣势及适用对象等方面进行了详细对比,帮助企业选择最合适的工具,提升采购效率和透明度。
2024年采购管理新趋势:最适合记录和更新采购清单的在线看板工具
|
算法 计算机视觉
YOLOv3 的非极大值抑制(NMS)算法是如何工作的,它对最终检测结果有何影响?
YOLOv3 的非极大值抑制(NMS)算法是如何工作的,它对最终检测结果有何影响?
|
JavaScript 前端开发
使用通义灵码的@workspace和@terminal功能,快速熟悉并开发一个在线商城项目
使用通义灵码的@workspace和@terminal功能,快速熟悉并开发一个在线商城项目
|
Kubernetes Ubuntu Linux
基于Kubernetes v1.25.0和Docker部署高可用集群(02部分)
基于Kubernetes v1.25.0和Docker部署高可用集群(02部分)
|
XML Java 数据格式
如何正确控制springboot中bean的加载顺序总结
springboot遵从约定大于配置的原则,极大程度的解决了配置繁琐的问题。在此基础上,又提供了spi机制,用spring.factories可以完成一个小组件的自动装配功能。 在一般业务场景,可能你不大关心一个bean是如何被注册进spring容器的。只需要把需要注册进容器的bean声明为@Component即可,spring会自动扫描到这个Bean完成初始化并加载到spring上下文容器。
|
NoSQL Linux Redis
Windows系统下安装Redis详细步骤
本文介绍Windows系统下安装Redis详细步骤
6270 1
Windows系统下安装Redis详细步骤