消息中间件系列教程（01） -知识回顾

引言

关于消息中间件，在之前的《中间件-ActiveMQ专题》、《中间件 - Kafka专题》和《中间件 - MQTT专题》有讲述过，具体的内容目录表如下：

Active-MQ专题：

• 《为什么需要MQ及其好处》
• 《常见消息中间件对比》
• 《JMS简介》
• 《ActiveMQ下载与安装》
• 《JMS点对点模式》
• 《JMS发布/订阅模式》

Kafka专题：

• 《Kafka介绍》
• 《Kafka核心组件》
• 《Kafka集群部署》
• 《Kafka常用操作命令》
• 《Kafka Java API》
• 《Storm实时交易金额计算案例分析》
• 《Kafka名词解释和工作方式》
• 《Kafka Consumer与topic关系》
• 《Kafka消息的分发》
• 《Kafka Consumer的负载均衡》
• 《Kafka文件存储基本结构》
• 《Kafka Partition Segment》
• 《Kafka 查找message》

MQTT专题：

• 《 MQTT简介》
• 《MQTT、MQ有什么关系？》
• 《MQTT原理》
• 《Windows下mosquitto安装》
• 《mosquitto 配置登录账号和密码》
• 《mosquitto 配置日期信息》
• 《mosquitto 开启webSockets》
• 《mosquitto 用户访问控制》
• 《mosquitto 测试工具paho》
• 《Spring集成MQTT（生产者与消费者）》
• 《apache-apollo服务器安装与使用》
• 《Mac 下MQTT免费测试工具MQTTBox》
• 《MQTT断线的问题分析》

1. 知识点回顾

先来看个场景：

• 在客户端与服务器进行通讯时，客户端调用后，必须等待服务对象完成处理返回结果才能继续执行。
• 客户与服务器对象的生命周期紧密耦合，客户进程和服务对象进程都都必须正常运行，如果由于服务对象崩溃或者网络故障导致用户的请求不可达,客户会受到异常。

由于需要等待与客户端服务器耦合等原因，消息中间件产生了。那么什么是消息中间件呢？

• 面向消息的中间件(MessageOrlented MiddlewareMOM)较好的解决了以上问题。发送者将消息发送给消息服务器，消息服务器将消感存放在若千队列中，在合适的时候再将消息转发给接收者。
• 这种模式下，发送和接收是异步的，发送者无需等待; 二者的生命周期未必相同: 发送消息的时候接收者不一定运行，接收消息的时候发送者也不一定运行。
• 一对多通信: 对于一个消息可以有多个接收者。

关于消息中间件，每种语言都有对应的方案，比如Java 的JMS。

1.1 JMS

JMS是java的消息服务，JMS的客户端之间可以通过JMS服务进行异步的消息传输。

消息模型分为以下两种：

• Point-to-Point(P2P) — 点对点
• Publish/Subscribe(Pub/Sub) — 发布订阅

1.1.1 P2P (点对点)

涉及到的概念:

1. 消息队列（Queue）
2. 发送者(Sender)
3. 接收者(Receiver)
4. 每个消息都被发送到一个特定的队列，接收者从队列中获取消息。队列保留着消息，直到他们被消费或超时。

P2P的特点:

1. 每个消息只有一个消费者（Consumer）(即一旦被消费，消息就不再在消息队列中)。
2. 发送者和接收者之间在时间上没有依赖性，也就是说当发送者发送了消息之后，不管接收者有没有正在运行，它不会影响到消息被发送到队列。
3. 接收者在成功接收消息之后需向队列应答成功。

如果你希望发送的每个消息都应该被成功处理的话，那么你需要P2P模式。

1.1.2 Pub/Sub (发布与订阅)

涉及到的概念:

1. 主题（Topic）
2. 发布者（Publisher）
3. 订阅者（Subscriber）
4. 多个发布者将消息发送到Topic,系统将这些消息传递给多个订阅者。

Pub/Sub的特点:

1. 每个消息可以有多个消费者
2. 发布者和订阅者之间有时间上的依赖性。针对某个主题（Topic）的订阅者，它必须创建一个订阅者之后，才能消费发布者的消息，而且为了消费消息，订阅者必须保持运行的状态。
3. 为了缓和这样严格的时间相关性，JMS允许订阅者创建一个可持久化的订阅。这样，即使订阅者没有被激活（运行），它也能接收到发布者的消息。
4. 如果你希望发送的消息可以不被做任何处理、或者被一个消息者处理、或者可以被多个消费者处理的话，那么可以采用Pub/Sub模型

消息的消费:

在JMS中，消息的产生和消息是异步的。对于消费来说，JMS的消息者可以通过两种方式来消费消息。

• 同步 :订阅者或接收者调用receive方法来接收消息，receive方法在能够接收到消息之前（或超时之前）将一直阻塞
• 异步 :订阅者或接收者可以注册为一个消息监听器。当消息到达之后，系统自动调用监听器的onMessage方法。

1.2 MQ产品的分类

1.2.1 RabbitMQ

是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。同时实现了一个经纪人(Broker)构架，这意味着消息在发送给客户端时先在中心队列排队。对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。

1.2.2 Redis

是一个Key-Value的NoSQL数据库，开发维护很活跃，虽然它是一个Key-Value数据库存储系统，但它本身支持MQ功能，所以完全可以当做一个轻量级的队列服务来使用。对于RabbitMQ和Redis的入队和出队操作，各执行100万次，每10万次记录一次执行时间。测试数据分为128Bytes、512Bytes、1K和10K四个不同大小的数据。实验表明：入队时，当数据比较小时Redis的性能要高于RabbitMQ，而如果数据大小超过了10K，Redis则慢的无法忍受；出队时，无论数据大小，Redis都表现出非常好的性能，而RabbitMQ的出队性能则远低于Redis。

1.2.3 ZeroMQ

号称最快的消息队列系统，尤其针对大吞吐量的需求场景。ZMQ能够实现RabbitMQ不擅长的高级/复杂的队列，但是开发人员需要自己组合多种技术框架，技术上的复杂度是对这MQ能够应用成功的挑战。ZeroMQ具有一个独特的非中间件的模式，你不需要安装和运行一个消息服务器或中间件，因为你的应用程序将扮演了这个服务角色。你只需要简单的引用ZeroMQ程序库，可以使用NuGet安装，然后你就可以愉快的在应用程序之间发送消息了。但是ZeroMQ仅提供非持久性的队列，也就是说如果down机，数据将会丢失。其中，Twitter的Storm中使用ZeroMQ作为数据流的传输。

1.2.4 ActiveMQ

• 是Apache下的一个子项目。 类似于ZeroMQ，它能够以代理人和点对点的技术实现队列。同时类似于RabbitMQ，它少量代码就可以高效地实现高级应用场景。RabbitMQ、ZeroMQ、ActiveMQ均支持常用的多种语言客户端 C++、Java、.Net,、Python、 Php、 Ruby等。
  

1.2.5 Jafka/Kafka

Kafka是Apache下的一个子项目，是一个高性能跨语言分布式Publish/Subscribe消息队列系统，而Jafka是在Kafka之上孵化而来的，即Kafka的一个升级版。具有以下特性：快速持久化，可以在O(1)的系统开销下进行消息持久化；高吞吐，在一台普通的服务器上既可以达到10W/s的吞吐速率；完全的分布式系统，Broker、Producer、Consumer都原生自动支持分布式，自动实现复杂均衡；支持Hadoop数据并行加载，对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka通过Hadoop的并行加载机制来统一了在线和离线的消息处理。Apache Kafka相对于ActiveMQ是一个非常轻量级的消息系统，除了性能非常好之外，还是一个工作良好的分布式系统。

1.2.6 其它

其他一些队列列表HornetQ、Apache Qpid、Sparrow、Starling、Kestrel、Beanstalkd、Amazon SQS就不再一一分析。

2. MQ应用场景

2.1 异步处理

场景说明：用户注册后，需要发注册邮件和注册短信。

传统的做法有两种:

1. 串行的方式
2. 并行方式

串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端，如下图：

并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间。

改造后：引入消息队列，将不是必须的业务逻辑，异步处理，架构如下：

按照以上约定，用户的响应时间相当于是注册信息写入数据库的时间，也就是50毫秒。注册邮件，发送短信写入消息队列后，直接返回，因此写入消息队列的速度很快，基本可以忽略，因此用户的响应时间可能是50毫秒。因此架构改变后，系统的吞吐量提高到每秒20 QPS。比串行提高了3倍，比并行提高了两倍。

2.2 应用解耦

场景说明：用户下单后，订单系统需要通知库存系统。传统的做法是，订单系统调用库存系统的接口。如下图：

传统模式的缺点：假如库存系统无法访问，则订单减库存将失败，从而导致订单失败，订单系统与库存系统耦合。

耗时时间接口统一采用MQ推送 ，不建议才同步方式。

引入应用消息队列后的方案，如下图：

订单系统：用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功。

库存系统：订阅下单的消息，采用拉/推的方式，获取下单信息，库存系统根据下单信息，进行库存操作。

假如：在下单时库存系统不能正常使用，也不影响正常下单，因为下单后，订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦。

2.3 流量削峰

流量削锋也是消息队列中的常用场景，一般在秒杀或团抢活动中使用广泛。

应用场景：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。为解决这个问题，一般需要在应用前端加入消息队列。

• 可以控制活动的人数
• 可以缓解短时间内高流量压垮应用

用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过最大数量，则直接抛弃用户请求或跳转到错误页面。秒杀业务根据消息队列中的请求信息，再做后续处理。

秒杀如何实现？

• 核心Redis+MQ+服务保护机制（服务降级、隔离、熔断）+服务限流+图形验证+Token。

3. 总结