开发者社区> 中间件雁溪> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Kafka、RabbitMQ、RocketMQ 消息中间件的对比 | 消息发送性能篇

简介: 消息中间件性能究竟哪家强? 带着这个疑问,我们消息队列测试小组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。
+关注继续查看

阿里云消息队列测试小组 出品

分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,我们自家的产品 RocketMQ (阿里云消息队列(MQ)的内核) 也顺利开源,得到大家的关注。

那么,消息中间件性能究竟哪家强?

带着这个疑问,我们消息队列测试小组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。

Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。

RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。

RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。

测试目的

对比Kafka、RabbitMQ、RocketMQ发送小消息(124字节)的性能。这次压测我们只关注服务端的性能指标,所以压测的标准是:

不断增加发送端的压力,直到系统吞吐量不再上升,而响应时间拉长。这时服务端已出现性能瓶颈,可以获得相应的系统最佳吞吐量。

测试场景

在同步发送场景中,三个消息中间件的表现区分明显:

Kafka的吞吐量高达17.3w/s,不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。

RocketMQ也表现不俗,吞吐量在11.6w/s,磁盘IO %util已接近100%。RocketMQ的消息写入内存后即返回ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件。

RabbitMQ的吞吐量5.95w/s,CPU资源消耗较高。它支持AMQP协议,实现非常重量级,为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试,吞吐量在2.6w/s左右。

测试结论

在服务端处理同步发送的性能上,Kafka>RocketMQ>RabbitMQ。

作为专业的阿里云消息队列测试小组,不禁想问,阿里云的MQ和Kafka相比,哪家强?

阿里云消息队列 Kafka VS Apache Kafka

阿里云消息队列 MQ 推出 Kafka 企业级消息服务(MQ-Kafka),全面融合 Kafka 开源生态,兼容 Kafka API,做到无缝迁移,打造更安全、更可靠、更易运维的 Kafka 企业级消息服务。

测试小组此次也对Apache Kafka和消息队列 Kafka 企业级消息服务在性能、可用性、可靠性等方面做了如下对比:

对比项 Apache Kafka(开源) 阿里云 MQ-Kafka
安全防护 ×
主子账号支持 ×
性能(常规) 非常好 非常好
性能(万级Topic情况下) 非常好
性能(海量消息堆积情况下) 非常好
可靠性 一般 非常好,99.99999999%
可用性 非常好,99.99%,Always Writable
全链路消息轨迹 ×
消息堆积查询 ×
消息回溯 ×
服务支持 用户自己运维 阿里云平台统一运维

阿里云 MQ-Kafka 的多方优势:

无缝迁移

业务系统基于现有的 Kafka 代码与生态进行开发,无需任何改造,即可无缝迁移到阿里云消息队列提供的 Kafka 消息服务。

安全防护

Aliware MQ 提供的 Kafka 消息服务利用 SASL 机制对用户身份进行认证,并利用 SSL 对通道进行加密,提供更加安全的消息服务。

高可靠/高可用

消息持久化落盘到消息队列,支持数多副本以及主备自动切换,可靠性达99.99999999%,服务可用性高达99.9%。

高性能

支持在万级 Topic,以及海量的消息堆积的情况下,也始终保持超高的性能。

统一运维

提供一整套包括资源申请、资源授权、消息堆积查询、消息全链路轨迹、监控告警等运维服务,提升用户的产品体验。

消息互通

您可以通过 Kafka Client 发送消息,MQ Client 订阅消息。反之亦然,真正做到 Aliware MQ 与 Kafka 消息完全互通。

免费试用

Kafka 企业级消息服务正在公测,用户可免费使用。

立刻去了解Kafka的接入方式吧,无语伦比的简单~而且现在还免费哟~
关于 阿里云消息队列 MQ,立即查看详情~

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
RocketMQ消息存储原理(下)
RocketMQ消息存储原理(下)
19 0
使用 Docker 部署 canal,并将消息推送到 RabbitMQ
上一篇已经介绍了使用 Docker 部署 canal 服务,实现 MySQL 数据库 binlog 日志解析,并且用官方提供的客户端程序成功读到了消息。但在生产环境下还不能这么用,更好的做法是将消息发送到消息队列,然后再从消息队列消费。
163 0
RocketMQ 消息存储文件
前面我们已经简单地介绍了 RocketMQ 的整体设计思路,本文着重其中消息存储文件部分。
67 0
RocketMQ 发送消息
前面我们已经简单地介绍了 RocketMQ 的整体设计思路,本文着重其中消息发送部分的实现细节。
106 0
消息中间件ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ、Kafka如何选型?
消息中间件ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ、Kafka如何选型?
49 0
消息中间件ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ、Kafka如何选型?
最近要为公司的消息队列中间件进行选型,市面上相关的开源技术又非常多,如ActiveMQ、RabbitMQ、ZeroMQ、Kafka,还有阿里巴巴的RocketMQ等。
61 0
高并发架构系列:Kafka、RocketMQ、RabbitMQ的优劣势比较
在高并发业务场景下,典型的阿里双11秒杀等业务,消息队列中间件在流量削峰、解耦上有不可替代的作用。之前介绍了MQ消息队列的12点核心原理总结,以及如何从0到1设计一个MQ消息队列,以及RPC远程调用和消息队列MQ的区别。
4205 0
IM系统的MQ消息中间件选型:Kafka还是RabbitMQ?
1、前言 在IM这种讲究高并发、高消息吞吐的互联网场景下,MQ消息中间件是个很重要的基础设施,它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色,当然MQ消息中间件的作用远不止于此,它的价值不仅仅存在于技术上,更重要的是改变了以往同步处理消息的思路(比如进行IM消息历史存储时,传统的信息系统作法可能是收到一条消息就马上同步存入数据库,这种作法在小并发量的情况下可以很好的工作,但互联网大并发环境下就是灾难)。
2631 0
消息队列MQ选型 - Kafka、RabbitMQ对比
image.png 适应场景 异步处理,应用解耦,流量削锋和消息通讯 对比 feature scenario Kafka RabbitMQ 备注 PUB-SUB 发布订阅模型 √ √ 推拉消费 Consumer消费消息的动作方式。
1502 0
Kafka、RabbitMQ、RocketMQ发送小消息性能对比
引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。那么,消息中间件性能究竟哪家强? 带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka、
13270 0
+关注
中间件雁溪
阿里云中间件产品运营小妹儿~
14
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载