RocketMq

简介: RocketMq

RocketMq是什么


Apache RocketMQ是阿里开源的一款高性能、高吞吐量的分布式消息中间件。在github上的介绍,rocketmq支持以下功能



Rocketmq架构


以下图片来源:http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes/


rocketmq物理架构




rocketmq逻辑架构



Producer Group


用来表示一个发送消息应用,一个Producer Group下包含多个Producer实例,可以是多台机器,也可以是一台机器的多个进程,或者一个进程的多个Producer对象。一个Producer Group可以发送多个Topic消息,Producer Group作用如下:


  1. 标识一类Producer


  1. 可以通过运维工具查询这个发送消息应用下有多个Producer实例


  1. 发送分布式事务消息时,如果Producer中途意外宕机,Broker会主动回调Producer Group内的任意一台机器来确认事务状态。


消息发送方式


同步,异步


单向


Consumer Group


用来表示一个消费消息应用,一个Consumer Group下包含多个Consumer实例,可以是多台机器,也可以是多个进程,或者是一个进程的多个Consumer对象。一个Consumer Group下的多个Consumer以均摊方式消费消息,如果设置为广播方式,那么这个Consumer Group下的每个实例都消费全量数据。


消息消费方式


集群消费,消费进度是存储在 broker 上


广播消费,消费进度是存储在各个 consumer 实例上,不进行消息失败重投


消息


RocketMq支持普通消息,有序消息和延时消息。


普通消息


普通消息即无序消息,因为无须保证顺序,生产者和消费者都只管生产和消费,不需要保证消息的顺序,所以消息可以大规模并发地发送和消费,吞吐量很高,适合大部分场景。


有序消息


有序消息就是发送和消费必须保证顺序的消息。


有序消息可以分成全局有序和局部有序。如何实现呢?


topic 只是消息的逻辑分类,内部实现其实是由 queue 组成。当 producer 把消息发送到某个 topic 时,默认是会消息发送到具体的 queue 上。


什么时候我们需要有序消息呢?


订单


延时消息


延时消息可以通过DelayTimeLevel来设置,消息延时分为如下等级


延时等级为:1s,5s,10s,30s,1m,2m,3m,4m,5m,6m,7m,8m,9m,10m,20m,30m,1h,2h。level=0,表示不延时。level=1,表示 1 级延时,对应延时 1s。level=2 表示 2 级延时,对应5s,以此类推。


什么时候我们需要延时消息呢?


关闭订单


消息过滤


通过tag


持久化


RocketMQ没有内存Buffer概念,RocketMQ的队列都是持久化磁盘,数据定期清除。 RocketMQ的消息持久化是基于文件系统,而从效率来看文件系统>kv存储>关系型数据库。


RocketMQ的数据存储


消息重试


默认每条消息最多重试 16 次,且每次重试时间间隔都不一样。如果消息重试 16 次之后还是消费失败怎么办呢?那么消息就不会再投递给消费者,而是将消息放到相对应的死信队列中。


Producer端重试 RetryTimesWhenSendFailed


Consumer端重试


相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
2月前
|
消息中间件 存储 Dubbo
RocketMQ(二)
RocketMQ(二)
|
3月前
|
消息中间件 Java 大数据
RocketMQ
【8月更文挑战第29天】RocketMQ
75 15
|
6月前
|
消息中间件 监控 API
RocketMQ 5.0
RocketMQ 5.0 是一款分布式消息中间件,由阿里巴巴开源,提供了高性能、高可靠、高可扩展性的消息传递服务。它采用发布/订阅模式,支持多种消息协议,如 JMS、MQTT 等,可用于构建企业级应用的异步消息处理、系统解耦、流量削峰等场景。
155 4
|
6月前
|
消息中间件 Apache RocketMQ
RocketMQ
RocketMQ “【5月更文挑战第24天】”
48 2
|
5月前
|
消息中间件 Java API
详解RocketMQ使用
详解RocketMQ使用
59 0
|
6月前
|
消息中间件 存储 Cloud Native
RocketMQ的初步认识
RocketMQ的初步认识
55 0
|
消息中间件 存储 JSON
RocketMQ使用总结
RocketMQ使用总结
181 0
|
消息中间件 RocketMQ
对于RocketMQ的不同场景
对于RocketMQ的不同场景
91 2
|
消息中间件 存储 缓存
RocketMQ参数约束和建议
Apache RocketMQ 系统中存在很多自定义参数和资源命名,您在使用 Apache RocketMQ 时建议参考如下说明规范系统设置,避对某些具体参数设置不合理导致应用出现异常。
228 0
|
消息中间件 Kafka Linux
RocketMQ常备知识汇总
RocketMQ常备知识汇总
203 0