阿里云 ApsaraMQ 率先完成消息队列全系 Serverless 化,携手 Confluent 发布新产品

本文涉及的产品
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
性能测试 PTS,5000VUM额度
简介: 阿里云消息队列进化为ApsaraMQ,全面Serverless化。

云原生时代,消息队列成为现代化应用的关键组件,也是云原生架构底层通信的基础设施。阿里云消息队列发展至今已有十多年历程。


3 月 29 日,在阿里云最新一期的“飞天发布时刻”上,阿里云云原生应用平台负责人丁宇宣布,云消息队列产品升级全新品牌 ApsaraMQ,将围绕“高弹性低成本、更稳定更安全、智能化免运维”三方大向持续拓展突破,产品全面 Serverless 化,帮助用户降本 50%;同时与全球消息流领导者 Confluent 达成战略合作,推出云消息队列 Confluent 版,为企业和开发者提供更高效更安全的消息流服务, 已在阿里云中国站与国际站同步上线。

image.png

阿里云云原生应用平台负责人丁宇宣布 ApsaraMQ 全新品牌升级


早在 2012 年,RocketMQ 诞生于阿里内部,用于淘宝交易核心链路。历经多年双 11 的考验打磨,2015 年,阿里云面向企业客户提供商业化消息队列服务。随后以 RocketMQ 为基础,拓展了 Kafka、RabbitMQ、MQTT 等商业化产品,用以服务多样化的客户场景。


2017 年,RocketMQ 成为 Apache 顶级开源项目,也成为了开源消息中间件领域的领导者。2022 年,阿里云发布 RocketMQ 5.0,全面拥抱云原生架构,显著提升性能体验。2023 年,阿里云消息队列全面 Serverless 化,极简运维、按需计费,进一步增强弹性、降低成本。


在本次发布会结束后,阿里云资深技术专家林清山与阿里云资深产品专家杨秋弟接受了 CSDN 专访,共同探讨随着 Serverless 时代全面到来,消息产品技术演进方面的路线选择与实践经验。


全行业数字化转型加速,ApsaraMQ 诞生

数据显示,全球 IDC 的利用率不超过 30%,企业仍在为基础设施付出巨大的成本。杨秋弟在分享中提到,在数字化转型方面,互联网企业是先行者,天生就已经拥有了数字化的基因,因此这类企业对于新技术有极高的嗅觉和灵敏度,快速发展业务是必然趋势。


近几年,传统行业对于数字化的成本和效率都有了更高的要求,并且转型的速度非常快。例如金融行业对于上云、用云的需求与发展速度非常高,另外制造业、新能源汽车等领域的企业对于数字化转型的布局,以及上云、用云的加速,也远超预期。随着云原生、Serverless 技术心智的加强,越来越多企业数字化转型的进程,会像互联网行业一样,逐步进入到成熟阶段。

image.png

正是在这样的行业背景下,随着云原生、Serverless 技术的快速发展,为了给企业和开发者带来更清晰的产品认知,提升使用体验,阿里云消息产品迎来全新品牌升级云消息队列 ApsaraMQ,涵盖了业界主流的消息队列产品:包括 RocketMQ、Kafka、RabbitMQ、MQTT 和 MNS,以精细化的产品定位和功能特性,满足企业在多元化场景下的消息服务需求。目前,ApsaraMQ 全系列产品,已经成功服务超过 10 万家企业,广泛覆盖超过 20 个垂直行业。


阿里云全系列消息产品 Serverless 化,国内唯一


与早期云计算为用户提供弹性的基础设施不同,Serverless 让云计算从一种资源真正变成一种能力。过去云计算用云服务器替代了物理服务器,但客户依旧按“几核几 G 服务器”的模式来购买云资源,未来云计算将全面 Serverless 化,更加接近“电网”模式,按计算的调用次数付费。因此,全球各个云厂商都在不断将产品体系 Serverless 化,新的云服务或新功能大多数是 Serverless 形态。


Serverless 全托管的出现正在深度影响和改变着应用技术架构。从企业级应用架构,到互联网分布式架构,服务化、可伸缩、松耦合等理念已经深入人心,但分布式技术的实施复杂度却不断攀升。而 Serverless 的自适应、免运维能够大幅降低复杂度,其高弹性又充分发挥了云的优势。随着各行业对 Serverless 理念逐步接受,应用场景不再局限于轻量级的事件驱动,更多的企业将他们的核心业务运行在 Serverless 架构上。可以说,企业全栈 Serverless 的发展趋势逐渐明朗。


在 IT 技术架构中,消息服务是重要组成部分,消息队列契合了 Serverless 事件驱动的编程理念,有助于开发者实现高度可扩展和弹性的应用程序,这也是 Kafka 等消息技术与服务兴起的原因。不过,在众多公有云厂商提供的消息队列服务中,多数仅仅是提供了开源消息产品的纯托管服务,而阿里云的消息队列是其中少有的全面结合大规模云计算场景,在开源基础上深度自研增强的消息服务。


消息中间件作为分布式架构中的重要组成部分,在全栈 Serverless 化的潮流中,阿里云需要比用户更早看到趋势的变化,才能满足客户的需求。杨秋弟介绍,“以 Serverless 的形式提供消息中间件产品,我们希望给客户带来实在的价值,用户可以按需使用,灵活计费,而非以往云托管类 IDC 的形式。”

image.png

林清山分享表示:“大部分云厂商提供消息产品,主要是提供预付费的、面向物理资源售卖的托管开源消息队列实例;在技术实现上,更多的是直接基于开源的消息队列进行运维自动化和产品化包装,较少涉及内核自研和技术增强。而 ApsaraMQ 则是深度结合阿里云基础设施的能力,充分利用飞天操作系统的底层能力(如盘古 DFS、对象存储 OSS 等),进行消息引擎存算分离改造、软硬结合优化改造,彻底走向 Serverless 架构;在产品形态上则是提供按需弹性、按量付费,面向业务能力售卖的 Serverless 模式。云计算走向 Serverless,符合计算机技术发展的必然趋势,那就是池化资源、分时复用,不断提升算力利用率,同时屏蔽技术细节,让客户专注实现业务价值。”

image.png

阿里云消息队列 Serverless 架构采用经典的存算分离架构,遵循三层架构设计理念:


第一层 MQ Proxy 采用彻底的无状态网关架构设计,客户可以通过灵活的多形态网络接入,随机连接一台计算节点可以进行消息收发。在统一存储引擎的基础上,面对客户侧实现多协议多领域场景的消息的覆盖,目前 ApsaraMQ 可支持 MQTT、gRPC、HTTP,AMQP 等多种主流协议。Proxy 同时承载多租户架构的设计,包括多租户命名空间权限认证、安全隔离、扩大管理等,以及消息云服务多个切面的逻辑,包括可观测、计量计费、审计等等。


第二层消息的存储引擎,是承载消息基础存储实现,包括消息的持久化、哈希索引、时间轮索引、消费者进度维护及高可用切换逻辑,可以面向云存储、本地存储进行统一的存储抽象。由于采用存算分离架构,消息的存储引擎也逐渐变成一个无状态的计算节点,其数据都落地在分布式的文件系统、盘古以及对象存储上。消息存储引擎节点通过动态绑定云存储上的消息数据分区,对上层 Proxy 提供消息读写服务。


底层的共享云存储层则是由云厂商提供的基础存储服务。Apsara MQ 使用共享的热存储盘古 DFS,提供高性能、高可用、低延迟的存储能力。同时,消息冷数据可转存到对象存储,通过共享的冷存储 OSS,获取无限的低成本存储空间。


ApsaraMQ 始终围绕 高弹性低成本、更稳定更安全、智能化免运维三大核心方向,做拓展与突破。其中:


  • 高弹性低成本:ApsaraMQ 打造的存算分离架构,提供秒级万 QPS 吞吐的弹性能力,弹性实例的成本平均降低 50%;
  • 更稳定更安全:ApsaraMQ 容灾能力增强,服务可用 SLA 最高达到 4 个 9,数据提供了多级存储,最高达到 12 个 9 的消息可靠性;
  • 智能化免运维:ApsaraMQ 提供全链路的健康度智能巡检,按需自适应弹性,免运维。


产品版图再 +1,云消息队列 Confluent 版将成大数据、业务日志数据通道首选


在 2021 年,阿里云与全球消息流领域的领导者 Confluent 公司建立合作关系,在云市场联合发布数据流服务。2023 年,合作再次升级,Confluent 成为阿里云战略合作伙伴。阿里云作为 Confluent 在中国大陆地区的唯一合作云厂商,双方联合打造更全面的 Kafka 消息流解决方案,服务于亚太市场。

image.png

云消息队列 Confluent 版的发布,将进一步完善了阿里云在消息领域的产品布局,将 Confluent 的专业技术和实战经验,与阿里云强大的基础设施与服务体系相结合,基于 Apache Kafka 的核心能力,提供更加高效、安全并且兼容性更强的消息流服务。


这次发布的能力,包括 Self-Balancing 等企业级特性;120 多个全托管的 Connector,简化数据流入流出;支持轻量级 SQL,实时流式消息处理;提供消息领域最完善的数据治理、管理版本和兼容性。


利用云消息队列 Confluent 版,企业可以快速构建和扩展与生产集群规模相匹配的企业级 Kafka Confluent 集群。借助 Confluent 版产品服务,为全球的用户提供丰富产品选型。此外,云消息队列 Confluent 版具有着 Apache Kafka 原厂商业化产品、高 SLA 保障,数据持久化、免运维、易观测、开箱即用,无缝迁移等优势,能有效解决企业所面临的对云端全托管企业级 Kafka 服务有迫切需求、Kafka 集群搭建及运维复杂性挑战大的痛点,在人工智能、客户洞察与体验优化、事件驱动型微服务应用场景中发挥高效作用。


除了 Confluent 版,ApsaraMQ 产品还集合了市场上广泛使用的五款主流消息队列产品,无论是开源迁移上云,还是新业务构建,在 ApsaraMQ 产品系列中,总能找到一款适合业务场景的可靠的消息中间件。企业可以按业务需求、系统架构、性能要求、以及运维能力随需选、随需配,实现真正的提效和提升。ApsaraMQ 将持续构建完整产品矩阵、技术影响力、市场规模领先,希望以云服务更开放、包容的态度和更多开源、商业公司进行联合研发,开拓共赢的合作模式。


未来阿里云消息团队会持续走开源标准+自研增强的技术路线,并持续把云计算、电商场景大规模生产实践沉淀的消息产品特性、技术增强回馈到 Apache RocketMQ、Apache Kafka 等社区,让云计算和开源齐头并进,协同发展,共建更好的技术生态。


更多 ApsaraMQ 产品能力与特性,欢迎开发者点击此处,查看飞天发布时刻:阿里云消息队列 ApsaraMQ 产品升级发布会”,了解详细信息。

相关文章
|
1月前
|
消息中间件 存储 Serverless
【实践】快速学会使用阿里云消息队列RabbitMQ版
云消息队列 RabbitMQ 版是一款基于高可用分布式存储架构实现的 AMQP 0-9-1协议的消息产品。云消息队列 RabbitMQ 版兼容开源 RabbitMQ 客户端,解决开源各种稳定性痛点(例如消息堆积、脑裂等问题),同时具备高并发、分布式、灵活扩缩容等云消息服务优势。
88 2
|
2月前
|
人工智能 自然语言处理 Serverless
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。
155 13
|
2月前
|
存储 人工智能 运维
正式收官!阿里云函数计算携手优酷,用 AI 重塑影视 IP 创新边界
近日,阿里云联合优酷发起的 Create@影视 IP x AI 应用创新大赛,将网剧《少年白马醉春风》这一热门影视 IP 与阿里云 AI 技术相结合,由阿里云函数计算提供 AIGC 技术支持参赛者基于网剧《少年白马醉春风》IP 或“少年江湖”精神内核,用 AI 生成角色场景设计、手办设计、破次元合照、数字人等多样化的作品。
120 10
|
23天前
|
消息中间件 Java Kafka
初识Apache Kafka:搭建你的第一个消息队列系统
【10月更文挑战第24天】在数字化转型的浪潮中,数据成为了企业决策的关键因素之一。而高效的数据处理能力,则成为了企业在竞争中脱颖而出的重要武器。在这个背景下,消息队列作为连接不同系统和服务的桥梁,其重要性日益凸显。Apache Kafka 是一款开源的消息队列系统,以其高吞吐量、可扩展性和持久性等特点受到了广泛欢迎。作为一名技术爱好者,我对 Apache Kafka 产生了浓厚的兴趣,并决定亲手搭建一套属于自己的消息队列系统。
45 2
初识Apache Kafka:搭建你的第一个消息队列系统
|
1月前
|
人工智能 弹性计算 运维
触手可及:阿里云函数计算助力AI大模型的评测
阿里云推出的面向AI服务器的功能计算(Functional Computing, FC),专为AI应用提供弹性计算资源。该服务支持无服务器部署、自动资源管理和多语言支持,极大简化了AI应用的开发和维护。本文全面评测了FC for AI Server的功能特性、使用体验和成本效益,展示了其在高效部署、成本控制和安全性方面的优势,并通过具体应用案例和改进建议,展望了其未来发展方向。
133 4
|
2月前
|
SQL 分布式计算 Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化,内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验!
151 3
阿里云 EMR Serverless Spark 版正式开启商业化
|
27天前
|
消息中间件 中间件 Kafka
解锁Kafka等消息队列中间件的测试之道
在这个数字化时代,分布式系统和消息队列中间件(如Kafka、RabbitMQ)已成为日常工作的核心组件。本次公开课由前字节跳动资深专家KK老师主讲,深入解析消息队列的基本原理、架构及测试要点,涵盖功能、性能、可靠性、安全性和兼容性测试,并探讨其主要应用场景,如应用解耦、异步处理和限流削峰。课程最后设有互动答疑环节,助你全面掌握消息队列的测试方法。
|
2月前
|
消息中间件 弹性计算 运维
阿里云云消息队列RabbitMQ实践解决方案评测报告
阿里云云消息队列RabbitMQ实践解决方案评测报告
74 9
|
2月前
|
人工智能 运维 大数据
阿里云“触手可及,函数计算玩转 AI 大模型”解决方案评测报告
阿里云“触手可及,函数计算玩转 AI 大模型”解决方案评测报告
98 2
|
2月前
|
Cloud Native 关系型数据库 Serverless
基于阿里云函数计算(FC)x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。该最佳实践会指导大家基于开源WebChat组件LobeChat和阿里云函数计算(FC)构建企业生产级别LLM Chat应用。实现同一个WebChat中既可以支持自定义的Agent,也支持基于Ollama部署的开源模型场景。
426 16

相关产品

  • 云消息队列 Kafka 版
  • 下一篇
    无影云桌面