开发者社区> 开发者小助手> 正文

「开源人说」第一期重磅上线!一起来看《十万亿条消息背后的故事》

简介: 阿里每天近万亿级别的消息是如何完成实时消息传递的?几十万台服务器,成千上万个应用顺畅协作和消息实时传递都离不开分布式消息中间件RocketMQ。长久以来,RocketMQ 易于部署、高性能、高可用的架构,支撑了数十年来集团内外海量的业务场景。 2016年,阿里巴巴宣布将开源分布式消息中间件RocketMQ捐赠给Apache,并一举成为Apache 顶级项目(TLP)。一个由中国开发者发起的项目,站在了一个世界的舞台上,受到全球的企业和开发者关注。RocketMQ深受开发者欢迎,多次斩获行业大奖,究竟是怎样的一群人让这一项目不断迸发出蓬勃的生命力?
+关注继续查看

视频连接:https://developer.aliyun.com/live/249109


这是一个从诞生第一天起就在GitHub上开发的开源项目,也是中国第一个非Hadoop生态的Apache顶级项目。它统一了阿里集团内部所有业务线的消息中间件,伴随着中国互联网发展数次迭代。


《十万亿条消息背后的故事》记录了从诞生、开源到发展至今,那些RocketMQ背后鲜为人知的创始故事。通过「开源人说」的娓娓道来,让我们一起来了解分布式消息中间件Apache RocketMQ背后的人与事!


双11,RocketMQ 抖一抖,上层业务“抖三抖”


早在2007年,阿里巴巴中间件团队就自主研发了 消息中间件Notify。作为RocketMQ的前身,在很长一段时间里,Notify 作为主要的消息中间件支撑着淘宝天猫业务。


Apache RocketMQ的创始人王小瑞于2011年加入到淘宝中间件。当时面临最大挑战是,每年“双11”Notify都会出问题,使得消息会延迟半天甚至一天以上,商家看不到买家已经购买了商品,这对于商家服务以及客户体验的影响非常大。在缜密研判后,发现问题核心就是如何能够实现高速读写,王小瑞所在的团队认为想要解决这一问题,就需要基于一个全新存储架构来解决这个问题。于是,RocketMQ诞生了。


image


RocketMQ诞生,一开始就是开源共建,3个月就出了第一个版本


王小瑞(Apache RocketMQ 创始人&作者)说:“阿里的文化特别开放,我是在食堂跟小邪(现阿里云基础产品事业部负责人)吃饭的时候,说我们希望这个产品名字叫RocketMQ,希望它可以一开始就是开源的。小邪当时就给予了支持。”淘宝的文化也是马上做,做精彩。如果你有想法,那你赶紧去做。所以我当时其实做梦的过程中都在想这些问题该怎么解决。老板没有定一个严格的时间点,说你必须在什么时间写完,但我的想法是,我已经想清楚了整个架构,需要把它快速实现出来。”


从第一天开始,RocketMQ就在Github完整展现,也就是说RocketMQ的第一行代码对用户就是开放的。在非常多国内外开发者的共同参与下。RocketMQ快速迭代,大概用了3个月时间就完成第一个版本。


2015年,中日韩开源论坛上,RocketMQ作为中国开源软件的代表,荣获CJK OSS大奖。


image


2016年“双11”当天,达到万亿级消息量,峰值TPS几千万,创造了国内乃至世界上最大的消息流转记录。


image


RocketMQ 捐赠,仅用一年,成为Apache顶级开源项目


在阿里巴巴建立之初,正是基于开源软件将整个电商平台的原型快速搭建起来。阿里巴巴感恩开源社区带来的巨大贡献与价值,也希望将自身经验分享出来、回馈社区,让更多的人受益。


2016年,阿里巴巴将分布式消息中间件RocketMQ捐赠给了Apache开源软件基金会。仅用10个月时间就从Apache毕业,并成为Apache顶级项目(TLP)。这也标志着中国拥有了第一个非Hadoop生态的顶级项目。


image

(2017年9月25日, 从孵化到毕业10个月左右的时间,Apache官方正式宣布阿里巴巴捐赠给Apache社区的RocketMQ从社区正式毕业,成为了Apache顶级的项目。)


Apache RocketMQ 社区运营负责人王荣刚说:“我们终于完成了一个阶段性的小目标,一个由中国开发者发起的项目,站在了一个世界的舞台上,受到全球的企业和开发者的关注,那种感觉还是非常自豪的。”


2021年,RocketMQ 5.0正式发布


2021年,在经历社区众多开发者的不断努力,RocketMQ 5.0 出现在行业视野中,并引发广泛讨论。新版本核心包括两大新亮点。首先,消息核心场景全面扩展,RocketMQ 5.0 不再局限于消息解耦场景,将全新布局事件驱动和消息流式处理场景;其次,技术架构不断演进,逐渐形成一站式融合处理的技术架构和趋势。


2022年,批量消息索引、逻辑队列发布RocketMQ-MQTT,RocketMQ-Connect、RocketMQ-Streams,完成从业务消息平台向『消息、事件、流』一体化融合处理平台的升级。开发者可以实现一份消息存储,支持流式计算、异步投递、集成驱动等多个场景。实现技术问题一站式解决,大大降低技术复杂度和运维成本,简化企业应用架构。


阿里巴巴开源委员会副主席丁宇表示:“未来,我们会加大RocketMQ的开源投入,构建更加繁荣的社区生态,希望与更多的开发者、贡献者一起,追求极致、开放共享,实现技术普惠。”


正是因为有这样一群热爱开源并愿意为它一直奋斗的开源人们,让中国的开源事业未来可期!




《开源人说》为阿里云开发者社区与InfoQ 联合出品的一档精品开源视频栏目。栏目围绕阿里四大开源领域:云原生、操作系统、数据库、大数据&AI,介绍优秀的开源软件:RocketMQ、Dubbo、Anolis OS(龙蜥操作系统)、Flink、PolarDB、OceanBase等背后的故事,记录传播阿里技术追求极致和开放共享的精神。

https://developer.aliyun.com/topic/opensourcefolkstalk

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
18613 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
27760 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
12981 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
21951 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
19991 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
15317 0
1533
文章
351
问答
来源圈子
更多
阿里云 云原生应用平台 肩负阿里巴巴集团基础设施云化以及核心技术互联网化的重要职责,致力于打造稳定、标准、先进的云原生产品,成为云原生时代的引领者,推动行业全面想云原生的技术升级,成为阿里云新增长引擎。商业化产品包括容器、云原生中间件、函数计算等。
+ 订阅
相关文档: 应用高可用服务 AHAS 性能测试 PTS Prometheus监控
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载