阿里云消息队列测试小组 出品
分布式系统中，我们广泛运用消息中间件进行系统间的数据交换，便于异步解耦。现在开源的消息中间件有很多，我们自家的产品 RocketMQ (阿里云消息队列(MQ)的内核) 也顺利开源，得到大家的关注。
那么，消息中间件性能究竟哪家强?
带着这个疑问，我们消息队列测试小组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。
Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，一开始的目的就是用于日志收集和传输。0.8版本开始支持复制，不支持事务，对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。
RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。
RocketMQ是阿里开源的消息中间件，它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka，但并不是Kafka的一个Copy，它对消息的可靠传输及事务性做了优化，目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。
测试目的
对比Kafka、RabbitMQ、RocketMQ发送小消息(124字节)的性能。这次压测我们只关注服务端的性能指标,所以压测的标准是:
不断增加发送端的压力,直到系统吞吐量不再上升,而响应时间拉长。这时服务端已出现性能瓶颈,可以获得相应的系统最佳吞吐量。
测试场景
在同步发送场景中，三个消息中间件的表现区分明显：
Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。
RocketMQ也表现不俗，吞吐量在11.6w/s，磁盘IO %util已接近100%。RocketMQ的消息写入内存后即返回ack，由单独的线程专门做刷盘的操作，所有的消息均是顺序写文件。
RabbitMQ的吞吐量5.95w/s，CPU资源消耗较高。它支持AMQP协议，实现非常重量级，为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试，吞吐量在2.6w/s左右。
测试结论
在服务端处理同步发送的性能上，Kafka>RocketMQ>RabbitMQ。
作为专业的阿里云消息队列测试小组，不禁想问，阿里云的MQ和Kafka相比，哪家强？
阿里云消息队列 Kafka VS Apache Kafka
阿里云消息队列 MQ 推出 Kafka 企业级消息服务（MQ-Kafka），全面融合 Kafka 开源生态，兼容 Kafka API，做到无缝迁移，打造更安全、更可靠、更易运维的 Kafka 企业级消息服务。
测试小组此次也对Apache Kafka和消息队列 Kafka 企业级消息服务在性能、可用性、可靠性等方面做了如下对比：
| 对比项 | Apache Kafka（开源） | 阿里云 MQ-Kafka |
|---|---|---|
| 安全防护 | × | √ |
| 主子账号支持 | × | √ |
| 性能（常规） | 非常好 | 非常好 |
| 性能（万级Topic情况下） | 低 | 非常好 |
| 性能（海量消息堆积情况下） | 低 | 非常好 |
| 可靠性 | 一般 | 非常好，99.99999999% |
| 可用性 | 好 | 非常好，99.99%，Always Writable |
| 全链路消息轨迹 | × | √ |
| 消息堆积查询 | × | √ |
| 消息回溯 | × | √ |
| 服务支持 | 用户自己运维 | 阿里云平台统一运维 |
阿里云 MQ-Kafka 的多方优势：
无缝迁移
业务系统基于现有的 Kafka 代码与生态进行开发，无需任何改造，即可无缝迁移到阿里云消息队列提供的 Kafka 消息服务。
安全防护
Aliware MQ 提供的 Kafka 消息服务利用 SASL 机制对用户身份进行认证，并利用 SSL 对通道进行加密，提供更加安全的消息服务。
高可靠/高可用
消息持久化落盘到消息队列，支持数多副本以及主备自动切换，可靠性达99.99999999%，服务可用性高达99.9%。
高性能
支持在万级 Topic，以及海量的消息堆积的情况下，也始终保持超高的性能。
统一运维
提供一整套包括资源申请、资源授权、消息堆积查询、消息全链路轨迹、监控告警等运维服务，提升用户的产品体验。
消息互通
您可以通过 Kafka Client 发送消息，MQ Client 订阅消息。反之亦然，真正做到 Aliware MQ 与 Kafka 消息完全互通。
免费试用
Kafka 企业级消息服务正在公测，用户可免费使用。
