RocketMq是什么
Apache RocketMQ是阿里开源的一款高性能、高吞吐量的分布式消息中间件。在github上的介绍,rocketmq支持以下功能
Rocketmq架构
以下图片来源:http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes/
rocketmq物理架构
rocketmq逻辑架构
Producer Group
用来表示一个发送消息应用,一个Producer Group下包含多个Producer实例,可以是多台机器,也可以是一台机器的多个进程,或者一个进程的多个Producer对象。一个Producer Group可以发送多个Topic消息,Producer Group作用如下:
- 标识一类Producer
- 可以通过运维工具查询这个发送消息应用下有多个Producer实例
- 发送分布式事务消息时,如果Producer中途意外宕机,Broker会主动回调Producer Group内的任意一台机器来确认事务状态。
消息发送方式
同步,异步
单向
Consumer Group
用来表示一个消费消息应用,一个Consumer Group下包含多个Consumer实例,可以是多台机器,也可以是多个进程,或者是一个进程的多个Consumer对象。一个Consumer Group下的多个Consumer以均摊方式消费消息,如果设置为广播方式,那么这个Consumer Group下的每个实例都消费全量数据。
消息消费方式
集群消费,消费进度是存储在 broker 上
广播消费,消费进度是存储在各个 consumer 实例上,不进行消息失败重投
消息
RocketMq支持普通消息,有序消息和延时消息。
普通消息
普通消息即无序消息,因为无须保证顺序,生产者和消费者都只管生产和消费,不需要保证消息的顺序,所以消息可以大规模并发地发送和消费,吞吐量很高,适合大部分场景。
有序消息
有序消息就是发送和消费必须保证顺序的消息。
有序消息可以分成全局有序和局部有序。如何实现呢?
topic 只是消息的逻辑分类,内部实现其实是由 queue 组成。当 producer 把消息发送到某个 topic 时,默认是会消息发送到具体的 queue 上。
什么时候我们需要有序消息呢?
订单
延时消息
延时消息可以通过DelayTimeLevel来设置,消息延时分为如下等级
延时等级为:1s,5s,10s,30s,1m,2m,3m,4m,5m,6m,7m,8m,9m,10m,20m,30m,1h,2h。level=0,表示不延时。level=1,表示 1 级延时,对应延时 1s。level=2 表示 2 级延时,对应5s,以此类推。
什么时候我们需要延时消息呢?
关闭订单
消息过滤
通过tag
持久化
RocketMQ没有内存Buffer概念,RocketMQ的队列都是持久化磁盘,数据定期清除。 RocketMQ的消息持久化是基于文件系统,而从效率来看文件系统>kv存储>关系型数据库。
RocketMQ的数据存储
消息重试
默认每条消息最多重试 16 次,且每次重试时间间隔都不一样。如果消息重试 16 次之后还是消费失败怎么办呢?那么消息就不会再投递给消费者,而是将消息放到相对应的死信队列中。
Producer端重试 RetryTimesWhenSendFailed
Consumer端重试