全球首发RocketMQ5.0商业版,助力企业集成降本提效

简介: ——陈仲良(明锻) 阿里云云原生应用平台

image.png

消息中间件一直是企业核心架构的重要组成,消息系统的高性能稳定迭代时刻的影响着业务核心系统的稳定性。

正所谓十年磨一剑,阿里云消息队列RocketMQ 拥有着久远的迭代历程,过程中经历了几个核心的高光时刻。 2007 年,淘宝电商做微服务拆分诞生了第一代 RocketMQ 的原型消息,奠定了 RocketMQ 扎根于核心业务交易链路的集成基因。 2012 年, RocketMQ 正式发布,诞生之初即为开源开放的内外一体演进方式阿里巴巴自此之后一直坚持三位一体的发展思路,将内部的生产经验带到开源社区以及阿里云上的企业客户群体,RocketMQ 同时在三种场景下进行持续打磨和演进,服务了数十万开发者和企业群体。

去年社区发布了 Apache RocketMQ 5.0 版本,RocketMQ 升级为消息事件流一体的处理平台。20228,阿里云在全球的云厂商中率先实现了 5.0 系列的商业化。

image.png

伴随全球经济形势的变化以及企业IT架构演进的诉求。 RocketMQ5.0商业版的核心使命是为企业提供更加实惠、好用、便捷的消息服务,拥有降本提效、弹性扩展、方便易用、轻量集成几个关键能力

新系列的售卖策略优化了产品的售卖形态,计费策略和定价相比上一代更加简单、弹性和多样,综合成本最高可降低50%团队在计费项目上做了大幅简化,降低了开发者的理解成本。

image.png

新系列的计费由计算、存储、网络三个部分组成。

计算规格指付费实例将按照集群的峰值吞吐 TPS 来估算,这一点也大多数运维人员的心智比较匹配。提供了从 2000 - 100 TPS的规格,客户可以按照自己的业务规模选择合适的规格,后续随时进行配置变更和升降配

存储指用户在实例里实际消耗的存储空间。阿里云的RocketMQ 5.0 存储serverless架构,用户无需预先购买规格,只需按照实际的消耗量付费。

网络为可选项,大部分客户从内网访问消息,内部网络访问免费。但在少量特殊场景下,如果需要使用公网来传输消息,可以选配公网的能力,需要支付公网下行的带宽费用。

RocketMQ5.0提供了非常灵活的付费模式,支持按月付费按小时付费。生产环境中建议使用包月模式,单价更低测试环境或项目环境等临时场景建议使用按量付费,可以随时释放后续也可转换包月模式。

除了付费项目和付费形式的变化,我们也为客户准备了多样的实例规格,价格相比于比老版本大幅降低。新版本推出了专业版系列,每月只需要4000+费用,即可享受大规模集群突发弹性、可观测增强以及容灾集成等企业级能力。

考虑到很多客户在做集成测试会有大量测试环境的诉求,RocketMQ5.0还贴心提供了测试环境专用实例,在保证功能一致的情况下,门槛降低至300+/月,大幅降低了客户构建测试环境的成本。除了售卖策略降价之外,RocketMQ5.0 商业版在计算弹性、存储弹性方面也有很大升级。

image.png

上图为典型的消息吞吐量曲线。正常业务系统消息处理的过程中曲线并不是一成不变,而是伴随着业务的高峰低谷频繁波动。如果按照常规的资源保障,则必须按照峰值能力去购买规格或部署资源,该方案存在几个问题

第一,运维难度。如果是突发峰值流量,无法预期,紧急的扩容无法及时跟上,导致业务损伤,极端情况还会导致整个集群垮掉。

第二,如果为了避免毛刺,提前扩大集群的规模,预留足够的 buffer 虽然可以避免一定的风险,但是又会带来很大的资源浪费。

RocketMQ 5.0 系列为以上提供了一套组合方案,用户可以按照经验为业务的处理划定预留的基线,在预留范围之内直接购买规格即可抵消费用。对于突发的毛刺以及波动的流量,可以选择开启弹性能力。开启之后超出基准部分的流量可以按量付费,使得业务无需一直为少量脉冲型流量支付全部的费用。预留部分RocketMQ 5.0提供了 2000-100 TPS随时升降配选择。此外,突发弹性可以支持秒级的响应速度,保证业务无感。

 

image.png

RocketMQ 5.0 商业版的存储无需用户提前购置磁盘空间,按量使用按需付费。且在相同的副本情况下,商业版的单位定价是自建成本的1/3,非常优惠阿里云基于自研的多机存储架构,对数据做了冷热分离处理,充分利用了云厂商的存储资源池做弹性。

在常规的开源消息方案中,存储的扩缩容一直是难点。首先云盘无法缩容,如果提前购置了大量盘,缩容只能做数据搬迁换盘。其次,在扩容和搬迁存储的过程中很容易出现运维故障,风险很高。

商业版 5.0 系列使用户再也无需评估存储规格,存储容量上限,使用非常方便。而且 RocketMQ 5.0 商业版提供的存储方案默认三副本高可靠数据不会丢失,且即将支持最长一个月的保存时效。开源社区的某些版本会因为本地空间不足导致消息无法写入清除最早的数据无法百分百满足保存时效。

冷热分离的存储架构也可以很好地隔离读写压力,避免在堆积等场景下影响热数据的写入性能。

image.png

RocketMQ 5.0 商业版在开发管理方面完全对齐开源版本的习惯优先推荐使用开源 SDK ,与社区保持一致,各个 API 的接入门槛更低。伴随着社区版本发布, RocketMQ 5.0 系列提供了一套全新的轻量化SDK 相比早期版本有很大的升级和改变列举其中三点如下:

第一, SDK 设计方面,配合了服务端全新的存储计算分离架构,将很多复杂的管理逻辑上移到服务端,客户端的设计更加轻量。而轻量带来的好处就是客户端的逻辑更稳定,出问题之后容易诊断和分析。

第二,新的 SDK 在可观测能力上做了很多增强,补齐了几十处的埋点以及指标采集。支持 OpenTelemetry 标准协议上报客户端的轨迹信息以及指标的信息配合服务端分析工具和大盘可快速定位客户端应用的情况。因为采用了标准协议,RocketMQ5.0 也支持用到用户自定义监控系统的集成。

第三RocketMQ5.0 多语言 SDK 有了很大增强,基于新版本协议推出了原生的多语言 SDK 覆盖,前期可以覆盖 Java C++.net 以及 go 的原生支持,后续也会逐步完善其他语言。

image.png

消息系统业务核心数据链路耦合了上下游的业务逻辑。当业务出现非预期的问题问题排查过程中往往会出现相互拉扯,比如消息底层的服务看起来很正常,但是业务消息没有收到或者没有处理成功。同时,当系统处于高水位运行或在大促等极端场景下,业务指标如果出现恶化趋势,很可能无法及时判断和巡检,诸如此类的问题都是由于消息系统可观测能力的欠缺导致。

RocketMQ5.0 商业版为客户提供了开箱即用的可观测能力组合,包括轨迹追踪、指标分析监控、事件中心等能力,从点线面多维度地覆盖问题覆盖了生产、存储、消费全生命周期的 40 多项指标,支持免费的Grafana大盘分析常见的消息堆积、消息处理耗时、收发成功率等指标一览无遗。

用户也可以很方便对生产环境的集群做巡检和监控,针对上层业务系统可以提前发现问题。同时RocketMQ 5.0 的系列客户端 SDK 指标和轨迹数据支持标准的 OpenTelemetry协议导出,支持自定义系统监控的集成。

image.png

RocketMQ5.0系列实例还针对生产环境常见的故障应急配置、更新操作等做了升级,支持动态配置管理和更新,提高生产环境突发情况的应急响应速度。RocketMQ5.0 商业版实例内建了一套高可靠的元数据中心,将 topic group 生产者、消费者等配置统一收敛到一起。用户可以基于控制台的页面白屏化操作变更,即可动态刷新配置,推送到客户端动态生效。套机制有两个优势

第一,统一配置中心的元数据中心可以避免消息的配置散落在不同的客户端代码里,造成不同版本的不一致和混乱。历史上出现过大量工单因为客户的各个应用配置不一导致故障。

第二,在故障应急的场景中,不再需要重启各个客户端的应用,可以快速生效,一方面提高了运维人效,缩短了处理时间,同时也降低了紧急情况下的变更范围和风险。

image.png

  RocketMQ 5.0 商业版系列除了消息基础的机制增强能力之外,为方便企业客户完成高效的上下游数据集成降低开发门槛和代价,提供了一套开箱即用的上下游消息集成服务,消息作为其中数据源和目标,对接到阿里云的 EventBridge 集成中心。

上下游的其他生态产品,比如网络存储、计算数据库、大数据等多种产品可以快速连接到消息,实现打通。套集成方案目前支持阿里云一方产品、三方 SaaS 等大概 200 多款上下游产品,可以说只要有集成诉求都可以连接。

其次,基于消息集成的方案,用户的开发门槛低。内置了 10 多种数据抽取转换模板,用户可以直接白屏化配置,即可抽取数据到目标下游。如果内置的模板不支持,还能提供自定义函数的能力,可以编写自定义的处理逻辑。套系统运行的过程中,用户无需部署和运维。基于阿里云的 FaaS 的底座弹性 Serverless ,使用非常方便。目前已有大量客户使用方案实现 ETL消息路由等能力

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
4月前
|
弹性计算 运维 Serverless
项目管理和持续集成系统搭建问题之云效流水线支持阿里云产品的企业用户如何解决
项目管理和持续集成系统搭建问题之云效流水线支持阿里云产品的企业用户如何解决
92 1
项目管理和持续集成系统搭建问题之云效流水线支持阿里云产品的企业用户如何解决
|
1月前
|
消息中间件 运维 Serverless
商业版vs开源版:一图看懂云消息队列 RocketMQ 版核心优势
自建开源 RocketMQ 集群,为保证业务稳定性,往往需要按照业务请求的峰值去配置集群资源。云消息队列 RocketMQ 版 Serverless 实例通过资源快速伸缩,实现资源使用量与实际业务负载贴近,并按实际使用量计费,有效降低企业的运维压力和使用成本。
111 15
|
4月前
|
消息中间件 弹性计算 Kubernetes
RabbitMQ与容器化技术的集成实践
【8月更文第28天】RabbitMQ 是一个开源消息代理和队列服务器,用于在分布式系统中存储、转发消息。随着微服务架构的普及,容器化技术(如 Docker 和 Kubernetes)成为了部署和管理应用程序的标准方式。本文将探讨如何使用 Docker 和 Kubernetes 在生产环境中部署和管理 RabbitMQ 服务,同时保证高可用性和弹性伸缩能力。
85 3
|
2月前
|
消息中间件 Java 数据库
新版 Seata 集成 RocketMQ事务消息,越来越 牛X 了!阿里的 Seata , yyds !
这里 借助 Seata 集成 RocketMQ 事务消息的 新功能,介绍一下一个新遇到的面试题:如果如何实现 **强弱一致性 结合**的分布式事务?
新版 Seata 集成 RocketMQ事务消息,越来越 牛X 了!阿里的 Seata , yyds !
|
3月前
|
并行计算 关系型数据库 分布式数据库
朗坤智慧科技「LiEMS企业管理信息系统」通过PolarDB产品生态集成认证!
近日,朗坤智慧科技股份有限公司「LiEMS企业管理信息系统软件」通过PolarDB产品生态集成认证!
|
4月前
|
消息中间件 分布式计算 大数据
RabbitMQ与大数据平台的集成
【8月更文第28天】在现代的大数据处理架构中,消息队列作为数据传输的关键组件扮演着重要的角色。RabbitMQ 是一个开源的消息代理软件,它支持多种消息协议,能够为分布式系统提供可靠的消息传递服务。本篇文章将探讨如何使用 RabbitMQ 与 Hadoop 和 Spark 进行集成,以实现高效的数据处理和分析。
56 1
|
4月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
226 1
|
4月前
|
Kubernetes Devops 测试技术
DevOps实践:持续集成和持续部署(CI/CD)在现代企业中的应用
随着软件开发行业的迅猛发展,DevOps文化及其核心实践—持续集成(Continuous Integration, CI)与持续部署(Continuous Deployment, CD)—已成为提升软件交付速度和质量的关键策略。本文将深入探讨CI/CD的理论基础,并结合真实案例分析其在现代企业中的实际应用效果,旨在为读者提供一套可行的实施指南。
|
5月前
|
消息中间件 Java 测试技术
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
391 1
|
5月前
|
中间件 数据挖掘 API
ERP系统与社交媒体集成:提升企业互动与品牌影响力
【7月更文挑战第29天】 ERP系统与社交媒体集成:提升企业互动与品牌影响力
111 0