盘点 常见MQ : 消息队列总览

简介: MQ(message queue),字面上看就是一个队列,FIFO先入先出,只不过队列中存放的内容是message而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是以中国非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。

1.什么是MQ


  • MQ(message queue),字面上看就是一个队列,FIFO先入先出,只不过队列中存放的内容是message而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是以中国非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。


2.为什么使用MQ


  • 流量消峰 : 当请求一个系统的次数达到几万的时候,如果不使用任何的技术,可能会导致系统崩塌。此时就需要使用MQ来让这些请求排队,达到保护系统的功能。但是此时访问的效率就会降低。这个就是流量消峰。

微信截图_20220610144221.png

  • 应用解耦 : 就是将一个大的系统中的好多的小系统进行解耦。当一个小的系发生故障的时候,消息队列会监督这个小的系统恢复正常,不会造成整个大的系统进行崩塌。如果不使用消息队列的话,当一个小的系统发生故障的时候,整个大的系统都会崩塌。

微信截图_20220610144227.png

  • 异步处理 : 有些服务器之间的调用是异步的。例如A掉哟个B的时候,B需要花很长的时候去执行,但是A需要知道B什么时候可以执行完成。以前都是A过一段时间去调用一次B的回调API,来判断B有没有执行完毕。这种方式很麻烦,使用MQ之后,A调用B服务之后,只需要监听B处理完成的消息。此时A可以继续处理自己的事情。当B处理完消息之后,会发送一条消息给MQ,MQ会将此消息转发给A服务。这样A服务就不用循环调用B的API,A服务还可以及时的获取到异步处理成功的消息。

微信截图_20220610144305.png

3.MQ的分类


3.1 ActiveMQ


  • 优点:单机吞吐量万级,时效性ms(毫秒)级别,可用性高,基于主从架构实现高可用性,很难丢失数据消息。
  • 缺点:官方社区对ActiveMQ5.x 的维护越来越少,高吞吐量场景较少使用。


3.2 Kafka


大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开Kafka,这款为大数据而生的消息中间件,以百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重给的作用。

TPS就是系统的吞吐量

功能支持:功能比较简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模使用。

  • 优点:性能卓越,单机写入TPS约在百万条/秒。最大的优点就是吞吐量高。时效性ms级可用性非常高,Kafka是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用,消费者采用pull方式获取消息,消息是有序的。通过控制能够保证所有的消息都被消费且仅被消费一次。有优秀的第三方管理界面;在日志方面也较为成熟。
  • 缺点:Kafka单机超过64个队列/分区,Load会发生明显的飙高现象,队列越多,load越高,发送消息响应时间变长,使用的是 短轮询的方式,时效性取决于轮询间隔时间。 小时失败不支持重试;支持消息顺序,但是如果一台代理宕机,就会产生消息乱序,社区更新较慢。


3.3 RocketMQ


RocketMQ是出自阿里巴巴的开源产品,用Java语言编写的,在设计时参考了Kafka,并做出了一些自己的改进。被阿里巴巴广泛应用在订单,交易,充值,流计算,消息推送,日志处理等方面。

  • 优点单机吞吐量十万级,可用性非常高,是分布式架构,消息可以做到0丢失,MQ功能较为完善,还是发呢分布式的,扩展性好, 支持10亿级别的消息堆积。不会因为消息堆积而导致性能下降,源码是Java,我们可以自己订阅源码,定制自己公司的MQ。
  • 缺点支持的客户端语言不多,目前仅支持Java以及C++,其中C++不成熟。 社区活跃度不高,没有在MQ核心中去实现JMS等接口,有些系统要迁移需要修改大量的代码。


3.4 RabbitMQ


2007年发布的,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。

  • 优点:由于erlang语言的高并发特征,性能较好;吞吐量到万级,MQ的功能比较健壮、完善、易用、跨平台。 支持多语言:Java、PHP、C++、Python等等;开源提供的界面非常棒,社区活跃度较高,更新频率相当的高。
  • 缺点:商业版的学习成本较高。


4.MQ的选择


  1. Kafka:Kafka主要的特是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输,适合产生大量数据的互联网服务的数据收集业务,大型公司建议使用。
  2. RocketMQ : 天生为金融互联网而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务消峰,在大量交易涌入的时候,后端可能无法及时处理。RocketMQ在稳定性上可能更值得信赖,这些业务场景在阿里双11已经经历了多次的考验,如果你的业务有上述的场景发生,建议可以使用RocketMQ。
  3. RabbitMQ :结合erlang语言本身并发优势,性能好时效性微秒级,社区活跃度比较高,管理界面十分方面,如果你的数据量没有那么大,中小型公司优先选择功能完善的RabbitMQ。



相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
6天前
|
消息中间件 网络协议 JavaScript
MQTT常见问题之微消息队列mqtt支持ipv6失败如何解决
MQTT(Message Queuing Telemetry Transport)是一个轻量级的、基于发布/订阅模式的消息协议,广泛用于物联网(IoT)中设备间的通信。以下是MQTT使用过程中可能遇到的一些常见问题及其答案的汇总:
|
6天前
|
消息中间件 物联网 Java
MQTT常见问题之微消息队列配置失败如何解决
MQTT(Message Queuing Telemetry Transport)是一个轻量级的、基于发布/订阅模式的消息协议,广泛用于物联网(IoT)中设备间的通信。以下是MQTT使用过程中可能遇到的一些常见问题及其答案的汇总:
|
6天前
|
消息中间件 分布式计算 监控
Python面试:消息队列(RabbitMQ、Kafka)基础知识与应用
【4月更文挑战第18天】本文探讨了Python面试中RabbitMQ与Kafka的常见问题和易错点,包括两者的基础概念、特性对比、Python客户端使用、消息队列应用场景及消息可靠性保证。重点讲解了消息丢失与重复的避免策略,并提供了实战代码示例,帮助读者提升在分布式系统中使用消息队列的能力。
42 2
|
6天前
|
消息中间件 Java
springboot整合消息队列——RabbitMQ
springboot整合消息队列——RabbitMQ
82 0
|
6天前
|
消息中间件 存储 运维
为什么选择云消息队列 RocketMQ 版
为什么选择云消息队列 RocketMQ 版
11 1
|
6天前
|
消息中间件 存储 运维
深入理解MQ消息队列的高可用与可靠性策略
深入理解MQ消息队列的高可用与可靠性策略
718 3
|
6天前
|
消息中间件 大数据 Java
消息队列 MQ
消息队列 MQ
33 3
|
6天前
|
消息中间件 数据安全/隐私保护
MQTT微消息队列服务器连接报错:Error: Connection refused: Not authorized
使用MQTTX工具进行测试时,通过AccessKey创建了Client ID的用户名和密码。配置了公网接入点及端口1883,但尝试连接时出现错误。已附上工具截图:![](https://ucc.alicdn.com/pic/developer-ecology/3byii5uar64gg_36327474e991439da422f38c450ef153.png)。确认过用户名、密码和Client ID无误,问题仍未解决,期待回复!
|
6天前
|
消息中间件 存储 监控
解析RocketMQ:高性能分布式消息队列的原理与应用
RocketMQ是阿里开源的高性能分布式消息队列,具备低延迟、高吞吐和高可靠性,广泛应用于电商、金融等领域。其核心概念包括Topic、Producer、Consumer、Message和Name Server/Broker。RocketMQ支持异步通信、系统解耦、异步处理和流量削峰。关键特性有分布式架构、顺序消息、高可用性设计和消息事务。提供发布/订阅和点对点模型,以及消息过滤功能。通过集群模式、存储方式、发送和消费方式的选择进行性能优化。RocketMQ易于部署,可与Spring集成,并与Kafka等系统对比各有优势,拥有丰富的生态系统。
176 4
|
6天前
|
消息中间件 存储 负载均衡
消息队列学习之RabbitMQ
【4月更文挑战第3天】消息队列学习之RabbitMQ,一种基于erlang语言开发的流行的开源消息中间件。
21 0

热门文章

最新文章

相关产品

  • 云消息队列 MQ