开源技术精粹:深入解析阿里消息中间件RocketMQ

简介: 不久前,阿里宣布将开源RocketMQ 捐赠给 Apache 基金会,成为 Apache 孵化项目。想深入了解RocketMQ特性?想知道捐赠背后那些鲜为人知的故事?想看看业界主流MQ的性能对比?想知道商用版和开源版如何协同?云栖社区特别专题带你一睹详情。
早在2007年,阿里中间件团队自研消息中间件开始起步,大范围应用于生产系统,走到今天,阿里巴巴线上所有消息全部通过分布式消息中间件RocketMQ来转发投递,2016年双十一当天更是达到万亿级消息量,峰值TPS几千万,创造了国内乃至世界上最大的消息流转记录。不久前,阿里宣布将开源RocketMQ 捐赠给 Apache 基金会,成为 Apache 孵化项目。想深入了解RocketMQ特性?想知道捐赠背后那些鲜为人知的故事?想看看业界主流MQ的性能对比?想知道商用版和开源版如何协同?云栖社区特别专题带你一睹详情。(专题:https://yq.aliyun.com/topic/76

揭开面纱
RocketMQ是阿里在2012年开源的第三代分布式消息中间件,由阿里中间件团队维护,其商用版MQ可在阿里云上购买。历年双11,RocketMQ都承担了阿里生产系统百分之百的消息流转,在核心交易链路有着稳定和出色的表现,是承载交易峰值的核心基础产品之一。今年双11,更是创造了万亿级消息精准低延迟投递。

RocketMQ的前世今生》 https://yq.aliyun.com/articles/66129
阿里消息中间件起源于2001年的五彩石项目,历经三个主要版本迭代,至2015年,RocketMQ经历多年双11洗礼,在可用性、可靠性以及稳定性等方面都有出色的表现。

业界主流MQ对比 https://yq.aliyun.com/articles/62834
根据学习和沉淀,总结了几款业界主流消息中间件产品的对比报告,如有不准确的地方,请指正

Kafka、RabbitMQ、RocketMQ发送小消息性能对比 https://yq.aliyun.com/articles/62831 
分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦,本文对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较

Kafka vs RocketMQ——Topic数量对单机性能的影响 https://yq.aliyun.com/articles/62832 
上文对比单纯发送小消息的性能,本文模拟一个真实的场景,对比发送端、接收端共存情况下,Topic数量对Kafka、RocketMQ的性能影响

《Kafka vs RocketMQ——单机系统可靠性https://yq.aliyun.com/articles/62833 
前几期的评测中,对比了Kafka和RocketMQ的吞吐量和稳定性,本期引入一个新的评测标准——软件可靠性

开源历程
11月28日,阿里巴巴宣布将开源分布式消息中间件RocketMQ捐赠给Apache,成为Apache 孵化项目,孵化成功后RocketMQ有望成为国内首个互联网中间件在Apache上的顶级项目,成为全球继ActiveMQ,Kafka之后,分布式消息引擎家族中的新成员。

Apache基金会接收阿里RocketMQ为孵化项目https://yq.aliyun.com/articles/65031
此次捐赠,意味着以MQ(消息队列)为代表的互联网中间件在新兴物联网、大数据领域会发挥着越来越大的作用,将有更多的开发者因此受益

阿里中间件蒋江伟(小邪)谈RocketMQ开源:感恩社区 https://yq.aliyun.com/articles/65114
阿里巴巴中间件(Aliware)技术研究员蒋江伟(花名:小邪)和大家分享RocketMQ开源的前世今生

Alibaba RocketMQ捐赠给Apache那些鲜为人知的故事 https://yq.aliyun.com/articles/66135
阿里巴巴将RocketMQ捐赠给Apache只是第一步。如何将RocketMQ打造成为Apache Top Level Project,如何开源与商业化产品共赢?这里,有他们的思考。

云上生态
Aliware MQ(Message Queue)是RocketMQ的商业版本,是阿里云商用的专业消息中间件,是企业级互联网架构的核心产品,基于高可用分布式集群技术,搭建了包括发布订阅、消息轨迹、资源统计、定时(延时)、监控报警等一套完整的消息云服务。

Aliware MQ(Message Queue)是RocketMQ的商业版本,是阿里云商用的专业消息中间件,是企业级互联网架构的核心产品

十分钟快速玩转 Aliware MQ-阿里云消息队列Demo工程实践 https://yq.aliyun.com/articles/61965
本Demo 主要目的在于帮助初次接触 Aliware MQ 的工程师,一步一步搭建 MQ 测试工程。Demo 程序以 Java 为例,包括普通消息、事务消息、定时消息的测试代码,以及相关 Spring 的配置示例。

Aliware MQ在移动端/物联网领域应用https://yq.aliyun.com/articles/66166 
当亿万级移动设备和终端接入互联网,这些海量设备终端之间如何实现相互通信成为问题,消息服务是不可或缺的环节,通过消息系统可以很好的解决设备之间的信息互通问题,针对移动端物联网等领域使用消息系统的场景,MQ通过支持标准MQTT协议的方式来满足需求。

技术实践
RocketMQ 客户端最佳实践https://yq.aliyun.com/articles/66128
本文站在消费者和生产者的角度给出一些RocketMQ客户端使用的实践意见。

RocketMQ 关键特性https://yq.aliyun.com/articles/66110
 Apache RocketMQ之所以能在众多的消息中间件中脱颖而出,能吸引数千企业用户与RocketMQ的关键特性是分不开的,本文详细介绍RocketMQ中的关键特性。

十分钟入门RocketMQhttps://yq.aliyun.com/articles/66101
本文首先引出消息中间件通常需要解决哪些问题,遇到什么困难,Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件是否可以解决,如何定义问题,并介绍RocketMQ的架构设计,以期让读者快速了解RocketMQ

更多信息请进入:
企业级互联网架构Aliware官网 www.aliyun.com/aliware
相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
8月前
|
消息中间件 人工智能 Apache
2025 OSCAR丨与创新者同频!Apache RocketMQ 邀您共赴开源之约
10 月 28 日,阿里云高级技术专家周礼分享如何基于 Apache RocketMQ 新特性构建异步化 Multi-Agent 系统。
269 54
|
消息中间件 运维 Serverless
商业版vs开源版:一图看懂云消息队列 RocketMQ 版核心优势
自建开源 RocketMQ 集群,为保证业务稳定性,往往需要按照业务请求的峰值去配置集群资源。云消息队列 RocketMQ 版 Serverless 实例通过资源快速伸缩,实现资源使用量与实际业务负载贴近,并按实际使用量计费,有效降低企业的运维压力和使用成本。
1024 122
|
9月前
|
数据采集 传感器 监控
Modbus 与 MQTT 协议兼容:MyEMS 的泛在能源数据采集技术实现
MyEMS深度融合Modbus与MQTT协议,破解能源数据采集中协议碎片化、网络异构、数据孤岛等难题。通过Modbus接入95%以上工业设备,实现现场数据精准“拉取”;依托MQTT构建高效物联网传输通道,支持多源数据主动“推送”与云端集成。边缘侧采集规整,中心侧汇聚分析,形成统一、可靠、低延迟的数据流。该架构兼具高兼容性、强扩展性与低运维成本,广泛应用于工业园区、商业楼宇及集团型企业,支撑实时监控、AI分析与跨系统融合,打造泛在互联的能源数据底座,助力企业实现全面智慧能源管理。
582 6
|
消息中间件 存储 Apache
恭喜 Apache RocketMQ、Apache Seata 荣获 2024 开源创新榜单“年度开源项目”
近日,以“新纪天工、开物焕彩——致敬开源的力量”为活动主题的“重大科技成就发布会(首场)”在国家科技传播中心成功举办,并隆重揭晓了 2024 开源创新榜单,旨在致敬中国开源力量,传播推广开源科技成就,营造中国开源创新生态。2024 年开源创新榜单由中国科协科学技术传播中心、中国计算机学会、中国通信学会、中国科学院软件研究所共同主办,中国开发者社区承办,以王怀民院士为首组建评审委员会,进行研讨评审,面向中国开源行业领域,遴选具有创新性、贡献度和影响力的开源项目、社区、应用场景与开源事件。在评审出的 10 个年度开源项目中,Apache RocketMQ、Apache Seata 成功入选。
598 123
|
12月前
|
消息中间件 Apache 双11
Apache RocketMQ + “太乙” = 开源贡献新体验
Apache RocketMQ 是 Apache 顶级项目,源于阿里巴巴,历经多年双十一考验。RocketMQ 联合“太乙”平台启动开源竞赛,提供贡献价值评价与奖金激励(最高 5000 元),助力开发者成为社区核心成员。竞赛包含详尽教程与自动搭建环境,促进技术生态繁荣,推动分布式消息处理技术发展。欢迎加入,共创开源未来!
422 1
|
SQL 大数据 数据库
RocketMQ实战—1.订单系统面临的技术挑战
本文详细分析了一个订单系统的设计与技术挑战。首先,介绍了订单系统的整体架构、业务流程及负载情况,包括电商购物流程、核心和非核心业务流程,以及真实生产中的负载压力。接着,探讨了系统面临的主要技术问题:支付后发券、发红包等操作导致性能下降;退款流程复杂且易失败;与第三方系统耦合带来的不稳定;大数据团队直接查询数据库影响性能;秒杀活动时数据库压力剧增等。最后,通过放大100倍压力的方法,梳理了高并发下的技术挑战,如核心链路优化、后台线程补偿机制、第三方系统解耦、数据获取方式改进等,为订单系统的优化提供了全面的参考。
RocketMQ实战—1.订单系统面临的技术挑战
|
消息中间件 存储 Apache
恭喜 Apache RocketMQ 荣获 2024 开源创新榜单“年度开源项目”
恭喜 Apache RocketMQ 荣获 2024 开源创新榜单“年度开源项目”
355 1
|
存储 NoSQL 架构师
阿里面试:聊聊 CAP 定理?哪些中间件是AP?为什么?
本文深入探讨了分布式系统中的“不可能三角”——CAP定理,即一致性(C)、可用性(A)和分区容错性(P)三者无法兼得。通过实例分析了不同场景下如何权衡CAP,并介绍了几种典型分布式中间件的CAP策略,强调了理解CAP定理对于架构设计的重要性。
804 4
|
消息中间件 存储 Java
RocketMQ文件刷盘机制深度解析与Java模拟实现
【11月更文挑战第22天】在现代分布式系统中,消息队列(Message Queue, MQ)作为一种重要的中间件,扮演着连接不同服务、实现异步通信和消息解耦的关键角色。Apache RocketMQ作为一款高性能的分布式消息中间件,广泛应用于实时数据流处理、日志流处理等场景。为了保证消息的可靠性,RocketMQ引入了一种称为“刷盘”的机制,将消息从内存写入到磁盘中,确保消息持久化。本文将从底层原理、业务场景、概念、功能点等方面深入解析RocketMQ的文件刷盘机制,并使用Java模拟实现类似的功能。
475 3
|
存储 算法 安全
FreeMQTT:一款Python语言实现的开源MQTT Server
FreeMQTT 是一款用 Python 语言并基于 Tornado 开发的开源 MQTT 服务器,支持 MQTT3.1.1 和 MQTT5.0 协议,提供多租户安全隔离、高效 Topic 匹配算法及实时上下线通知等功能,适用于 IoT 场景。快速启动仅需克隆仓库、安装依赖并运行服务。
1937 0

相关产品

  • 云消息队列 MQ