「开源人说」第一期重磅上线!一起来看《十万亿条消息背后的故事》

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 阿里每天近万亿级别的消息是如何完成实时消息传递的?几十万台服务器,成千上万个应用顺畅协作和消息实时传递都离不开分布式消息中间件RocketMQ。长久以来,RocketMQ 易于部署、高性能、高可用的架构,支撑了数十年来集团内外海量的业务场景。2016年,阿里巴巴宣布将开源分布式消息中间件RocketMQ捐赠给Apache,并一举成为Apache 顶级项目(TLP)。一个由中国开发者发起的项目,站在了一个世界的舞台上,受到全球的企业和开发者关注。RocketMQ深受开发者欢迎,多次斩获行业大奖,究竟是怎样的一群人让这一项目不断迸发出蓬勃的生命力?

视频连接:https://developer.aliyun.com/live/249109


这是一个从诞生第一天起就在GitHub上开发的开源项目,也是中国第一个非Hadoop生态的Apache顶级项目。它统一了阿里集团内部所有业务线的消息中间件,伴随着中国互联网发展数次迭代。


《十万亿条消息背后的故事》记录了从诞生、开源到发展至今,那些RocketMQ背后鲜为人知的创始故事。通过「开源人说」的娓娓道来,让我们一起来了解分布式消息中间件Apache RocketMQ背后的人与事!


双11,RocketMQ 抖一抖,上层业务“抖三抖”


早在2007年,阿里巴巴中间件团队就自主研发了 消息中间件Notify。作为RocketMQ的前身,在很长一段时间里,Notify 作为主要的消息中间件支撑着淘宝天猫业务。


Apache RocketMQ的创始人王小瑞于2011年加入到淘宝中间件。当时面临最大挑战是,每年“双11”Notify都会出问题,使得消息会延迟半天甚至一天以上,商家看不到买家已经购买了商品,这对于商家服务以及客户体验的影响非常大。在缜密研判后,发现问题核心就是如何能够实现高速读写,王小瑞所在的团队认为想要解决这一问题,就需要基于一个全新存储架构来解决这个问题。于是,RocketMQ诞生了。



RocketMQ诞生,一开始就是开源共建,3个月就出了第一个版本


王小瑞(Apache RocketMQ 创始人&作者)说:“阿里的文化特别开放,我是在食堂跟小邪(现阿里云基础产品事业部负责人)吃饭的时候,说我们希望这个产品名字叫RocketMQ,希望它可以一开始就是开源的。小邪当时就给予了支持。”淘宝的文化也是马上做,做精彩。如果你有想法,那你赶紧去做。所以我当时其实做梦的过程中都在想这些问题该怎么解决。老板没有定一个严格的时间点,说你必须在什么时间写完,但我的想法是,我已经想清楚了整个架构,需要把它快速实现出来。”


从第一天开始,RocketMQ就在Github完整展现,也就是说RocketMQ的第一行代码对用户就是开放的。在非常多国内外开发者的共同参与下。RocketMQ快速迭代,大概用了3个月时间就完成第一个版本。


2015年,中日韩开源论坛上,RocketMQ作为中国开源软件的代表,荣获CJK OSS大奖。



2016年“双11”当天,达到万亿级消息量,峰值TPS几千万,创造了国内乃至世界上最大的消息流转记录。



RocketMQ 捐赠,仅用一年,成为Apache顶级开源项目


在阿里巴巴建立之初,正是基于开源软件将整个电商平台的原型快速搭建起来。阿里巴巴感恩开源社区带来的巨大贡献与价值,也希望将自身经验分享出来、回馈社区,让更多的人受益。


2016年,阿里巴巴将分布式消息中间件RocketMQ捐赠给了Apache开源软件基金会。仅用10个月时间就从Apache毕业,并成为Apache顶级项目(TLP)。这也标志着中国拥有了第一个非Hadoop生态的顶级项目。


(2017年9月25日, 从孵化到毕业10个月左右的时间,Apache官方正式宣布阿里巴巴捐赠给Apache社区的RocketMQ从社区正式毕业,成为了Apache顶级的项目。)


Apache RocketMQ 社区运营负责人王荣刚说:“我们终于完成了一个阶段性的小目标,一个由中国开发者发起的项目,站在了一个世界的舞台上,受到全球的企业和开发者的关注,那种感觉还是非常自豪的。”


2021年,RocketMQ 5.0正式发布


2021年,在经历社区众多开发者的不断努力,RocketMQ 5.0 出现在行业视野中,并引发广泛讨论。新版本核心包括两大新亮点。首先,消息核心场景全面扩展,RocketMQ 5.0 不再局限于消息解耦场景,将全新布局事件驱动和消息流式处理场景;其次,技术架构不断演进,逐渐形成一站式融合处理的技术架构和趋势。


2022年,批量消息索引、逻辑队列发布RocketMQ-MQTT,RocketMQ-Connect、RocketMQ-Streams,完成从业务消息平台向『消息、事件、流』一体化融合处理平台的升级。开发者可以实现一份消息存储,支持流式计算、异步投递、集成驱动等多个场景。实现技术问题一站式解决,大大降低技术复杂度和运维成本,简化企业应用架构。


阿里巴巴开源委员会副主席丁宇表示:“未来,我们会加大RocketMQ的开源投入,构建更加繁荣的社区生态,希望与更多的开发者、贡献者一起,追求极致、开放共享,实现技术普惠。”


正是因为有这样一群热爱开源并愿意为它一直奋斗的开源人们,让中国的开源事业未来可期!




《开源人说》为阿里云开发者社区与InfoQ 联合出品的一档精品开源视频栏目。栏目围绕阿里四大开源领域:云原生、操作系统、数据库、大数据&AI,介绍优秀的开源软件:RocketMQ、Dubbo、Anolis OS(龙蜥操作系统)、Flink、PolarDB、OceanBase等背后的故事,记录传播阿里技术追求极致和开放共享的精神。

https://developer.aliyun.com/topic/opensourcefolkstalk

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
9月前
|
存储 机器学习/深度学习 人工智能
活动预告|周五晚,一起来看图数据库如何为构建行业大模型降本增效
本次活动将与 Llama Index 的 CEO 共同探讨如何通过图技术进一步提升 LLM 的语义检索能力,并展示如何结合知识图谱与向量数据库实操 Llama Index 上的复杂问答系统,分享悦数团队与 Llama Index 团队在图驱动的 in-context learning 的最新研究进展。
活动预告|周五晚,一起来看图数据库如何为构建行业大模型降本增效
|
前端开发 机器人
赛事比分直播系统程序 快至三天搭建上线开发解决方案
采用东莞梦幻网络科技独创研发体育比分直播系统平台,功能齐全,支持各类赛事直播/比分预测/赛程数据/比分数据/赛事情报/赛事社区/微短视频/新闻话题/会员中心等模块功能。采用PHP+JAVA+VUE+Object-c的技术语言开发,PC+H5+Android+IOS多端程序。
赛事比分直播系统程序 快至三天搭建上线开发解决方案
|
SQL 运维 负载均衡
【6月23日直播预告】携程OcenanBase 实践数据库发布和拟真压测
6月23日(周四)19:00,将线上播出《深入浅出OceanBase第五期》,将带来携程OceanBase实践数据库发布和拟真压测,欢迎大家及时关注。
|
存储 SQL Cloud Native
双11特刊 | 迎难而上,支撑350亿次在线查询的数据仓库是怎样炼成的?
阿里云数据库已连续多年稳定支撑天猫双11,历经极端流量场景淬炼。除了保障稳定顺滑的基本盘,今年大促期间数据库通过全面云原生化,大幅提升用户体验,让技术帮助业务产生更有价值的消费者体验,持续通过技术创新赋能用户,引领技术发展路径。 双11已圆满落幕,但技术的探索,仍未止步。 “阿里云数据库” 公众号特此推出《好科技的新起点——2021双11阿里云数据库技术揭秘》系列干货文章,为你讲述年度“技术大考”背后的故事,敬请关注!
374 1
双11特刊 | 迎难而上,支撑350亿次在线查询的数据仓库是怎样炼成的?
|
SQL 分布式计算 运维
作为国内规模最大的 ClickHouse 用户,字节跳动踩过哪些坑?
ClickHouse 由于其性能方面的突出优势,正在分析型数据库领域掀起一波新的技术浪潮。
332 0
作为国内规模最大的 ClickHouse 用户,字节跳动踩过哪些坑?
|
新零售 供应链 搜索推荐
通过阿里云数据中台读懂消费者,香飘飘实现新客增长3.5倍
从不同维度获取新客,成为香飘飘当下最主要的营销目标。从9月份开始,它就为此次双11进行营销蓄水,并通过与阿里云数据中台合作,形成一套全域数据中台解决方案,统一运营自身的全域消费者资产,最终在拉新上实现了3.5倍的增长。
273 0
通过阿里云数据中台读懂消费者,香飘飘实现新客增长3.5倍
|
运维 前端开发 JavaScript
2020年末:浅谈阿里前端的多样化
舒文:本文,简单分享几个前端领域在阿里的应用场景,附带一些我对前端技术领域的一些思考,期待能够和众多的行业同仁们有交流互动的机会。
1344 0
2020年末:浅谈阿里前端的多样化
|
Cloud Native 架构师 双11
【1109 - 1113直播导视 | PPT 下载】开源日再度来袭:实时计算技术的最新探索成果和实践、今年双11究竟有啥黑科技?
本周4个专题页重磅推荐,直播&前沿技术知识两不误,分别是双十一技术回顾&亚洲最大的开源关系型数据库生态大会PostgresConf.CN&数据库&开源日,块办好小板凳前来观看吧!
2751 0
|
供应链 机器人 双11
重大发布!今年天猫双11多三天,光棍节变双节棍,玩法亮点全在这里
挺品牌、挺商家、挺工厂、挺消费者,2020天猫双11注定不一样。
重大发布!今年天猫双11多三天,光棍节变双节棍,玩法亮点全在这里
|
前端开发 小程序 Serverless
今晚19:00!淘系【云+端】开源产品线上发布会
你是否在传统开发和 Serverless 中犹豫不决,对上云抱有怀疑?是否在开发项目的前端代码和后端代码中切换觉得特别繁琐?是否在开发中后台时觉得能力不足,需要申请服务器配合?是否在小程序开发中碰到资源调用,管理繁琐的问题? 9月23日淘系技术特此举办【云+端】开源产品线上发布会!和大咖连线,共同探索云+端的未来。
937 0
今晚19:00!淘系【云+端】开源产品线上发布会

相关产品

  • 云消息队列 MQ
  • 微服务引擎
  • 云消息队列 Kafka 版