开源技术精粹:深入解析阿里消息中间件RocketMQ

简介: 不久前,阿里宣布将开源RocketMQ 捐赠给 Apache 基金会,成为 Apache 孵化项目。想深入了解RocketMQ特性?想知道捐赠背后那些鲜为人知的故事?想看看业界主流MQ的性能对比?想知道商用版和开源版如何协同?云栖社区特别专题带你一睹详情。
早在2007年,阿里中间件团队自研消息中间件开始起步,大范围应用于生产系统,走到今天,阿里巴巴线上所有消息全部通过分布式消息中间件RocketMQ来转发投递,2016年双十一当天更是达到万亿级消息量,峰值TPS几千万,创造了国内乃至世界上最大的消息流转记录。不久前,阿里宣布将开源RocketMQ 捐赠给 Apache 基金会,成为 Apache 孵化项目。想深入了解RocketMQ特性?想知道捐赠背后那些鲜为人知的故事?想看看业界主流MQ的性能对比?想知道商用版和开源版如何协同?云栖社区特别专题带你一睹详情。(专题:https://yq.aliyun.com/topic/76

揭开面纱
RocketMQ是阿里在2012年开源的第三代分布式消息中间件,由阿里中间件团队维护,其商用版MQ可在阿里云上购买。历年双11,RocketMQ都承担了阿里生产系统百分之百的消息流转,在核心交易链路有着稳定和出色的表现,是承载交易峰值的核心基础产品之一。今年双11,更是创造了万亿级消息精准低延迟投递。

RocketMQ的前世今生》 https://yq.aliyun.com/articles/66129
阿里消息中间件起源于2001年的五彩石项目,历经三个主要版本迭代,至2015年,RocketMQ经历多年双11洗礼,在可用性、可靠性以及稳定性等方面都有出色的表现。

业界主流MQ对比 https://yq.aliyun.com/articles/62834
根据学习和沉淀,总结了几款业界主流消息中间件产品的对比报告,如有不准确的地方,请指正

Kafka、RabbitMQ、RocketMQ发送小消息性能对比 https://yq.aliyun.com/articles/62831 
分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦,本文对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较

Kafka vs RocketMQ——Topic数量对单机性能的影响 https://yq.aliyun.com/articles/62832 
上文对比单纯发送小消息的性能,本文模拟一个真实的场景,对比发送端、接收端共存情况下,Topic数量对Kafka、RocketMQ的性能影响

《Kafka vs RocketMQ——单机系统可靠性https://yq.aliyun.com/articles/62833 
前几期的评测中,对比了Kafka和RocketMQ的吞吐量和稳定性,本期引入一个新的评测标准——软件可靠性

开源历程
11月28日,阿里巴巴宣布将开源分布式消息中间件RocketMQ捐赠给Apache,成为Apache 孵化项目,孵化成功后RocketMQ有望成为国内首个互联网中间件在Apache上的顶级项目,成为全球继ActiveMQ,Kafka之后,分布式消息引擎家族中的新成员。

Apache基金会接收阿里RocketMQ为孵化项目https://yq.aliyun.com/articles/65031
此次捐赠,意味着以MQ(消息队列)为代表的互联网中间件在新兴物联网、大数据领域会发挥着越来越大的作用,将有更多的开发者因此受益

阿里中间件蒋江伟(小邪)谈RocketMQ开源:感恩社区 https://yq.aliyun.com/articles/65114
阿里巴巴中间件(Aliware)技术研究员蒋江伟(花名:小邪)和大家分享RocketMQ开源的前世今生

Alibaba RocketMQ捐赠给Apache那些鲜为人知的故事 https://yq.aliyun.com/articles/66135
阿里巴巴将RocketMQ捐赠给Apache只是第一步。如何将RocketMQ打造成为Apache Top Level Project,如何开源与商业化产品共赢?这里,有他们的思考。

云上生态
Aliware MQ(Message Queue)是RocketMQ的商业版本,是阿里云商用的专业消息中间件,是企业级互联网架构的核心产品,基于高可用分布式集群技术,搭建了包括发布订阅、消息轨迹、资源统计、定时(延时)、监控报警等一套完整的消息云服务。

Aliware MQ(Message Queue)是RocketMQ的商业版本,是阿里云商用的专业消息中间件,是企业级互联网架构的核心产品

十分钟快速玩转 Aliware MQ-阿里云消息队列Demo工程实践 https://yq.aliyun.com/articles/61965
本Demo 主要目的在于帮助初次接触 Aliware MQ 的工程师,一步一步搭建 MQ 测试工程。Demo 程序以 Java 为例,包括普通消息、事务消息、定时消息的测试代码,以及相关 Spring 的配置示例。

Aliware MQ在移动端/物联网领域应用https://yq.aliyun.com/articles/66166 
当亿万级移动设备和终端接入互联网,这些海量设备终端之间如何实现相互通信成为问题,消息服务是不可或缺的环节,通过消息系统可以很好的解决设备之间的信息互通问题,针对移动端物联网等领域使用消息系统的场景,MQ通过支持标准MQTT协议的方式来满足需求。

技术实践
RocketMQ 客户端最佳实践https://yq.aliyun.com/articles/66128
本文站在消费者和生产者的角度给出一些RocketMQ客户端使用的实践意见。

RocketMQ 关键特性https://yq.aliyun.com/articles/66110
 Apache RocketMQ之所以能在众多的消息中间件中脱颖而出,能吸引数千企业用户与RocketMQ的关键特性是分不开的,本文详细介绍RocketMQ中的关键特性。

十分钟入门RocketMQhttps://yq.aliyun.com/articles/66101
本文首先引出消息中间件通常需要解决哪些问题,遇到什么困难,Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件是否可以解决,如何定义问题,并介绍RocketMQ的架构设计,以期让读者快速了解RocketMQ

更多信息请进入:
企业级互联网架构Aliware官网 www.aliyun.com/aliware
相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
12月前
|
数据采集 传感器 监控
Modbus 与 MQTT 协议兼容:MyEMS 的泛在能源数据采集技术实现
MyEMS深度融合Modbus与MQTT协议,破解能源数据采集中协议碎片化、网络异构、数据孤岛等难题。通过Modbus接入95%以上工业设备,实现现场数据精准“拉取”;依托MQTT构建高效物联网传输通道,支持多源数据主动“推送”与云端集成。边缘侧采集规整,中心侧汇聚分析,形成统一、可靠、低延迟的数据流。该架构兼具高兼容性、强扩展性与低运维成本,广泛应用于工业园区、商业楼宇及集团型企业,支撑实时监控、AI分析与跨系统融合,打造泛在互联的能源数据底座,助力企业实现全面智慧能源管理。
715 6
|
消息中间件 存储 RocketMQ
消息中间件-RocketMQ技术(二)
消息中间件-RocketMQ技术(二)
|
消息中间件 存储 中间件
消息中间件-RocketMQ技术(一)
消息中间件-RocketMQ技术(一)
|
人工智能 自然语言处理 Java
FastExcel:开源的 JAVA 解析 Excel 工具,集成 AI 通过自然语言处理 Excel 文件,完全兼容 EasyExcel
FastExcel 是一款基于 Java 的高性能 Excel 处理工具,专注于优化大规模数据处理,提供简洁易用的 API 和流式操作能力,支持从 EasyExcel 无缝迁移。
4116 65
FastExcel:开源的 JAVA 解析 Excel 工具,集成 AI 通过自然语言处理 Excel 文件,完全兼容 EasyExcel
|
机器学习/深度学习 人工智能 JSON
Resume Matcher:增加面试机会!开源AI简历优化工具,一键解析简历和职位描述并优化
Resume Matcher 是一款开源AI简历优化工具,通过解析简历和职位描述,提取关键词并计算文本相似性,帮助求职者优化简历内容,提升通过自动化筛选系统(ATS)的概率,增加面试机会。
1916 18
Resume Matcher:增加面试机会!开源AI简历优化工具,一键解析简历和职位描述并优化
|
人工智能 自然语言处理 搜索推荐
ViDoRAG:开源多模态文档检索框架,多智能体推理+图文理解精准解析文档
ViDoRAG 是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强生成框架,基于多智能体协作和动态迭代推理,显著提升复杂视觉文档的检索和生成效率。
1203 8
ViDoRAG:开源多模态文档检索框架,多智能体推理+图文理解精准解析文档
|
机器学习/深度学习 人工智能 编解码
R1-Onevision:开源多模态推理之王!复杂视觉难题一键解析,超越GPT-4V
R1-Onevision 是一款开源的多模态视觉推理模型,基于 Qwen2.5-VL 微调,专注于复杂视觉推理任务。它通过整合视觉和文本数据,能够在数学、科学、深度图像理解和逻辑推理等领域表现出色,并在多项基准测试中超越了 Qwen2.5-VL-7B 和 GPT-4V 等模型。
769 0
R1-Onevision:开源多模态推理之王!复杂视觉难题一键解析,超越GPT-4V
|
SQL 大数据 数据库
RocketMQ实战—1.订单系统面临的技术挑战
本文详细分析了一个订单系统的设计与技术挑战。首先,介绍了订单系统的整体架构、业务流程及负载情况,包括电商购物流程、核心和非核心业务流程,以及真实生产中的负载压力。接着,探讨了系统面临的主要技术问题:支付后发券、发红包等操作导致性能下降;退款流程复杂且易失败;与第三方系统耦合带来的不稳定;大数据团队直接查询数据库影响性能;秒杀活动时数据库压力剧增等。最后,通过放大100倍压力的方法,梳理了高并发下的技术挑战,如核心链路优化、后台线程补偿机制、第三方系统解耦、数据获取方式改进等,为订单系统的优化提供了全面的参考。
RocketMQ实战—1.订单系统面临的技术挑战
|
人工智能 搜索推荐 API
Cobalt:开源的流媒体下载工具,支持解析和下载全平台的视频、音频和图片,支持多种视频质量和格式,自动提取视频字幕
cobalt 是一款开源的流媒体下载工具,支持全平台视频、音频和图片下载,提供纯净、简洁无广告的体验
3166 9
Cobalt:开源的流媒体下载工具,支持解析和下载全平台的视频、音频和图片,支持多种视频质量和格式,自动提取视频字幕

相关产品

  • 云消息队列 MQ
  • 推荐镜像

    更多
  • DNS