RocketMQ的由来

09年，淘宝第一个双十一，那个时候还是IOE的天下（IBM小型机、Oracle数据库、EMC存储设备），仍然扛不住双十一高并发的情况，于是乎阿里巴巴发起了著名的“去IOE”活动， 代之以自己在开源软件基础上开发的系统。

发展历程：

• … ， 漫长的积累发展
• 12年，开源自研的第三代分布式消息中间件RocketMQ，
• 16年，RocketMQ进入Apache 孵化
• 如今，RocketMQ已经是Apache的顶级项目。

更多请戳： RocketMQ的前世今生

RocketMQ 版本

• 开源版本
• 商业收费版本

我们这里讨论的都是 开源版本的功能

RocketMQ 基本概念

https://github.com/apache/rocketmq/blob/master/docs/cn/concept.md

RocketMQ中的几个基本概念，还是需要知道的，不然不好理解RMQ的架构图

消息模型

RocketMQ主要由 Producer、Broker、Consumer 三部分组成。

Producer 负责生产消息

Consumer 负责消费消息

Broker 负责存储消息

消息生产者(producer)

负责生产消息，一般由业务系统负责生产消息。

一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。

RocketMQ提供多种发送方式，同步发送、异步发送、顺序发送、单向发送.

同步和异步方式均需要Broker返回确认信息，单向发送不需要。

消息消费者（Consumer）

负责消费消息，一般是后台系统负责异步消费。

一个消息消费者会从Broker服务器拉取消息、并将其提供给应用程序

从用户应用的角度而言提供了两种消费形式：拉取式消费(pull consumer)、推动式消费(push consumer)。

主题（Topic）

表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。

代理服务器（Broker Server）

消息中转角色，负责存储消息、转发消息。

代理服务器在RocketMQ系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备。

代理服务器也存储消息相关的元数据，包括消费者组、消费进度偏移和主题和队列消息等

名称服务（Name Server）

Name Server充当路由消息的提供者。生产者或消费者能够通过Name Server查找各主题相应的Broker IP列表。

多个Namesrv实例组成集群，但相互独立，没有信息交换。

拉取式消费（Pull Consumer）

Consumer消费的一种类型，应用通常主动调用Consumer的拉消息方法从Broker服务器拉消息、主动权由应用控制。一旦获取了批量消息，应用就会启动消费过程。

推动式消费（Push Consumer）

Consumer消费的一种类型，该模式下Broker收到数据后会主动推送给消费端，该消费模式一般实时性较高。

生产者组（Producer Group）

同一类Producer的集合，这类Producer发送同一类消息且发送逻辑一致。

如果发送的事务消息且原始生产者在发送之后崩溃，则Broker服务器会联系同一生产者组的其他生产者实例以提交或回溯消费。

消费者组（Consumer Group）

同一类Consumer的集合，这类Consumer通常消费同一类消息且消费逻辑一致

消费者组使得在消息消费方面，实现负载均衡和容错的目标变得非常容易。要注意的是，消费者组的消费者实例必须订阅完全相同的Topic。

RocketMQ 支持两种消息模式：集群消费（Clustering）和广播消费（Broadcasting）。

集群消费（Clustering）

集群消费模式下,相同Consumer Group的每个Consumer实例平均分摊消息。

广播消费（Broadcasting）

广播消费模式下，相同Consumer Group的每个Consumer实例都接收全量的消息。

普通顺序消息（Normal Ordered Message）

普通顺序消费模式下，消费者通过同一个消费队列收到的消息是有顺序的，不同消息队列收到的消息则可能是无顺序的。

严格顺序消息（Strictly Ordered Message）

严格顺序消息模式下，消费者收到的所有消息均是有顺序的。

消息（Message）

消息系统所传输信息的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。

RocketMQ中每个消息拥有唯一的Message ID，且可以携带具有业务标识的Key。

系统提供了通过Message ID和Key查询消息的功能。

标签（Tag）

为消息设置的标志，用于同一主题下区分不同类型的消息. .

來自同一业务单元的消息，可以根据不同业务目的在同一主题下设置不同标签。

标签能够有效地保持代码的清晰度和连贯性，并优化RocketMQ提供的查询系统。

消费者可以根据Tag实现对不同子主题的不同消费逻辑，实现更好的扩展性。

RocketMQ 架构图

Apache RocketMQ借鉴了kafka的架构，对其进行了优，纯Java开发，具有低延迟、高吞吐量、高可用性、适合大规模分布式系统应用的特点。

RocketMQ目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景

它们中的每一个都可以水平扩展，而没有单个故障点 。

四部分组成

• nameserver ： 提供轻量级的服务发现和路由。 每个名称服务器记录完整的路由信息，提供相应的读写服务，并支持快速的存储扩展。
• broker ： 通过提供轻量级的TOPIC和QUEUE机制来存储消息。

• 生产者
• 使用者

nameserver集群、 生产者集群 、 消费者集群都是无状态的 。

每一个nameserver都存储所有broker集群的信息 。

rocketmq 亮点功能： 支持 分布式事务， 支持SQL92 …

白话RocketMQ的架构图

nameserver , 类似zookeeper注册中心，用来收集broker的信息。 broker都会注册到nameserver .

每个namesrv 都会包含broker集群 主从节点的全部信息。 比如上图 3个namesrv， 4个 broker： 每个namesrv都会包含 broker cluster中的 4个broker的全量信息 。

broker 集群 会向每个namersrv 全量信息。 之所以这样做，因为namesrv 设计的是无状态的，每个namesrv之间是没有关联的。 其中一个namesrv节点挂了，其他的节点是无感知的。 namesrv不支持有状态，选举等功能，所以包含broker cluster的全量信。

我们的producer和consumer 都会配置 全部的namesrv节点的信息，都会配到对应的配置文件中，这也就意味着，当发起心跳拉取信息时，即便有个一个namesrv挂了，还有其他的namesrv节点可用。 只要有个1个namesrv是可用的，就能够获取到broker的信息

.

在最开始， producer和consumer都是没有broker的信息的，都是需要从namesrv上拉取broker集群的信息。 producer 和 consumer 从namesrv拉取信息，也不是实时拉取的，大概30s拉取一次，频率也还好。

相应的， consumer也是无状态的， 比如图上的3个consumer节点， 其中一个挂了，其他两个consumer也是感知不到的，跟这俩consumer也没关系， 同理，producer亦是如此。 每个节点都是单独从namesrv上拉取信息，互相独立。

服务端的话其实即使 namesrv + broker ， 然后加上 producer 、consumer 就构成了 RocketMQ的基本组成。

broker一旦启动以后，会有个定时任务主动的向namesrv发送心跳信息（发送broker中的基本信息、topic数据、偏移量等等）

假设你的producer 或者 consumer 的量非常大，namesrv 扛不住了，这个时候增加namesrv的节点即可。 namesrv的节点越多，你命中那个失败的namesrv的概率就会降低。

除了broker，剩下3个的集群都是无状态的。 broker才是真正的核心。

消息队列的作用

说点大家都知道的 消息队列的作用

• 解耦
• 削峰填谷

• 异步处理
• 分布式事务-中间协调

举个例子 比如解耦

各个服务之间从原来的强耦合，加入了消息队列后，支撑成功后，扔到消息队列里面，剩下的服务谁需要处理这个消息，谁来订阅即可，减少了下订单的时长。

Kafka VS RocketMQ VS RabbitMQ

从网上找的一个图，个人认为非常不错，请移步

戳这里： Kafka VS RocketMQ VS RabbitMQ

另外官网上 有关于 ActiveMQ VS Kafka VS RocketMQ, 请移步 ： 戳这里