阿里云 ApsaraMQ 率先完成消息队列全系 Serverless 化,携手 Confluent 发布新产品

简介: 阿里云消息队列进化为ApsaraMQ,全面Serverless化。

云原生时代,消息队列成为现代化应用的关键组件,也是云原生架构底层通信的基础设施。阿里云消息队列发展至今已有十多年历程。


3 月 29 日,在阿里云最新一期的“飞天发布时刻”上,阿里云云原生应用平台负责人丁宇宣布,云消息队列产品升级全新品牌 ApsaraMQ,将围绕“高弹性低成本、更稳定更安全、智能化免运维”三方大向持续拓展突破,产品全面 Serverless 化,帮助用户降本 50%;同时与全球消息流领导者 Confluent 达成战略合作,推出云消息队列 Confluent 版,为企业和开发者提供更高效更安全的消息流服务, 已在阿里云中国站与国际站同步上线。

image.png

阿里云云原生应用平台负责人丁宇宣布 ApsaraMQ 全新品牌升级


早在 2012 年,RocketMQ 诞生于阿里内部,用于淘宝交易核心链路。历经多年双 11 的考验打磨,2015 年,阿里云面向企业客户提供商业化消息队列服务。随后以 RocketMQ 为基础,拓展了 Kafka、RabbitMQ、MQTT 等商业化产品,用以服务多样化的客户场景。


2017 年,RocketMQ 成为 Apache 顶级开源项目,也成为了开源消息中间件领域的领导者。2022 年,阿里云发布 RocketMQ 5.0,全面拥抱云原生架构,显著提升性能体验。2023 年,阿里云消息队列全面 Serverless 化,极简运维、按需计费,进一步增强弹性、降低成本。


在本次发布会结束后,阿里云资深技术专家林清山与阿里云资深产品专家杨秋弟接受了 CSDN 专访,共同探讨随着 Serverless 时代全面到来,消息产品技术演进方面的路线选择与实践经验。


全行业数字化转型加速,ApsaraMQ 诞生

数据显示,全球 IDC 的利用率不超过 30%,企业仍在为基础设施付出巨大的成本。杨秋弟在分享中提到,在数字化转型方面,互联网企业是先行者,天生就已经拥有了数字化的基因,因此这类企业对于新技术有极高的嗅觉和灵敏度,快速发展业务是必然趋势。


近几年,传统行业对于数字化的成本和效率都有了更高的要求,并且转型的速度非常快。例如金融行业对于上云、用云的需求与发展速度非常高,另外制造业、新能源汽车等领域的企业对于数字化转型的布局,以及上云、用云的加速,也远超预期。随着云原生、Serverless 技术心智的加强,越来越多企业数字化转型的进程,会像互联网行业一样,逐步进入到成熟阶段。

image.png

正是在这样的行业背景下,随着云原生、Serverless 技术的快速发展,为了给企业和开发者带来更清晰的产品认知,提升使用体验,阿里云消息产品迎来全新品牌升级云消息队列 ApsaraMQ,涵盖了业界主流的消息队列产品:包括 RocketMQ、Kafka、RabbitMQ、MQTT 和 MNS,以精细化的产品定位和功能特性,满足企业在多元化场景下的消息服务需求。目前,ApsaraMQ 全系列产品,已经成功服务超过 10 万家企业,广泛覆盖超过 20 个垂直行业。


阿里云全系列消息产品 Serverless 化,国内唯一


与早期云计算为用户提供弹性的基础设施不同,Serverless 让云计算从一种资源真正变成一种能力。过去云计算用云服务器替代了物理服务器,但客户依旧按“几核几 G 服务器”的模式来购买云资源,未来云计算将全面 Serverless 化,更加接近“电网”模式,按计算的调用次数付费。因此,全球各个云厂商都在不断将产品体系 Serverless 化,新的云服务或新功能大多数是 Serverless 形态。


Serverless 全托管的出现正在深度影响和改变着应用技术架构。从企业级应用架构,到互联网分布式架构,服务化、可伸缩、松耦合等理念已经深入人心,但分布式技术的实施复杂度却不断攀升。而 Serverless 的自适应、免运维能够大幅降低复杂度,其高弹性又充分发挥了云的优势。随着各行业对 Serverless 理念逐步接受,应用场景不再局限于轻量级的事件驱动,更多的企业将他们的核心业务运行在 Serverless 架构上。可以说,企业全栈 Serverless 的发展趋势逐渐明朗。


在 IT 技术架构中,消息服务是重要组成部分,消息队列契合了 Serverless 事件驱动的编程理念,有助于开发者实现高度可扩展和弹性的应用程序,这也是 Kafka 等消息技术与服务兴起的原因。不过,在众多公有云厂商提供的消息队列服务中,多数仅仅是提供了开源消息产品的纯托管服务,而阿里云的消息队列是其中少有的全面结合大规模云计算场景,在开源基础上深度自研增强的消息服务。


消息中间件作为分布式架构中的重要组成部分,在全栈 Serverless 化的潮流中,阿里云需要比用户更早看到趋势的变化,才能满足客户的需求。杨秋弟介绍,“以 Serverless 的形式提供消息中间件产品,我们希望给客户带来实在的价值,用户可以按需使用,灵活计费,而非以往云托管类 IDC 的形式。”

image.png

林清山分享表示:“大部分云厂商提供消息产品,主要是提供预付费的、面向物理资源售卖的托管开源消息队列实例;在技术实现上,更多的是直接基于开源的消息队列进行运维自动化和产品化包装,较少涉及内核自研和技术增强。而 ApsaraMQ 则是深度结合阿里云基础设施的能力,充分利用飞天操作系统的底层能力(如盘古 DFS、对象存储 OSS 等),进行消息引擎存算分离改造、软硬结合优化改造,彻底走向 Serverless 架构;在产品形态上则是提供按需弹性、按量付费,面向业务能力售卖的 Serverless 模式。云计算走向 Serverless,符合计算机技术发展的必然趋势,那就是池化资源、分时复用,不断提升算力利用率,同时屏蔽技术细节,让客户专注实现业务价值。”

image.png

阿里云消息队列 Serverless 架构采用经典的存算分离架构,遵循三层架构设计理念:


第一层 MQ Proxy 采用彻底的无状态网关架构设计,客户可以通过灵活的多形态网络接入,随机连接一台计算节点可以进行消息收发。在统一存储引擎的基础上,面对客户侧实现多协议多领域场景的消息的覆盖,目前 ApsaraMQ 可支持 MQTT、gRPC、HTTP,AMQP 等多种主流协议。Proxy 同时承载多租户架构的设计,包括多租户命名空间权限认证、安全隔离、扩大管理等,以及消息云服务多个切面的逻辑,包括可观测、计量计费、审计等等。


第二层消息的存储引擎,是承载消息基础存储实现,包括消息的持久化、哈希索引、时间轮索引、消费者进度维护及高可用切换逻辑,可以面向云存储、本地存储进行统一的存储抽象。由于采用存算分离架构,消息的存储引擎也逐渐变成一个无状态的计算节点,其数据都落地在分布式的文件系统、盘古以及对象存储上。消息存储引擎节点通过动态绑定云存储上的消息数据分区,对上层 Proxy 提供消息读写服务。


底层的共享云存储层则是由云厂商提供的基础存储服务。Apsara MQ 使用共享的热存储盘古 DFS,提供高性能、高可用、低延迟的存储能力。同时,消息冷数据可转存到对象存储,通过共享的冷存储 OSS,获取无限的低成本存储空间。


ApsaraMQ 始终围绕 高弹性低成本、更稳定更安全、智能化免运维三大核心方向,做拓展与突破。其中:


  • 高弹性低成本:ApsaraMQ 打造的存算分离架构,提供秒级万 QPS 吞吐的弹性能力,弹性实例的成本平均降低 50%;
  • 更稳定更安全:ApsaraMQ 容灾能力增强,服务可用 SLA 最高达到 4 个 9,数据提供了多级存储,最高达到 12 个 9 的消息可靠性;
  • 智能化免运维:ApsaraMQ 提供全链路的健康度智能巡检,按需自适应弹性,免运维。


产品版图再 +1,云消息队列 Confluent 版将成大数据、业务日志数据通道首选


在 2021 年,阿里云与全球消息流领域的领导者 Confluent 公司建立合作关系,在云市场联合发布数据流服务。2023 年,合作再次升级,Confluent 成为阿里云战略合作伙伴。阿里云作为 Confluent 在中国大陆地区的唯一合作云厂商,双方联合打造更全面的 Kafka 消息流解决方案,服务于亚太市场。

image.png

云消息队列 Confluent 版的发布,将进一步完善了阿里云在消息领域的产品布局,将 Confluent 的专业技术和实战经验,与阿里云强大的基础设施与服务体系相结合,基于 Apache Kafka 的核心能力,提供更加高效、安全并且兼容性更强的消息流服务。


这次发布的能力,包括 Self-Balancing 等企业级特性;120 多个全托管的 Connector,简化数据流入流出;支持轻量级 SQL,实时流式消息处理;提供消息领域最完善的数据治理、管理版本和兼容性。


利用云消息队列 Confluent 版,企业可以快速构建和扩展与生产集群规模相匹配的企业级 Kafka Confluent 集群。借助 Confluent 版产品服务,为全球的用户提供丰富产品选型。此外,云消息队列 Confluent 版具有着 Apache Kafka 原厂商业化产品、高 SLA 保障,数据持久化、免运维、易观测、开箱即用,无缝迁移等优势,能有效解决企业所面临的对云端全托管企业级 Kafka 服务有迫切需求、Kafka 集群搭建及运维复杂性挑战大的痛点,在人工智能、客户洞察与体验优化、事件驱动型微服务应用场景中发挥高效作用。


除了 Confluent 版,ApsaraMQ 产品还集合了市场上广泛使用的五款主流消息队列产品,无论是开源迁移上云,还是新业务构建,在 ApsaraMQ 产品系列中,总能找到一款适合业务场景的可靠的消息中间件。企业可以按业务需求、系统架构、性能要求、以及运维能力随需选、随需配,实现真正的提效和提升。ApsaraMQ 将持续构建完整产品矩阵、技术影响力、市场规模领先,希望以云服务更开放、包容的态度和更多开源、商业公司进行联合研发,开拓共赢的合作模式。


未来阿里云消息团队会持续走开源标准+自研增强的技术路线,并持续把云计算、电商场景大规模生产实践沉淀的消息产品特性、技术增强回馈到 Apache RocketMQ、Apache Kafka 等社区,让云计算和开源齐头并进,协同发展,共建更好的技术生态。


更多 ApsaraMQ 产品能力与特性,欢迎开发者点击此处,查看飞天发布时刻:阿里云消息队列 ApsaraMQ 产品升级发布会”,了解详细信息。

相关文章
|
12月前
|
机器学习/深度学习 人工智能 Serverless
吉利汽车携手阿里云函数计算,打造新一代 AI 座舱推理引擎
当前吉利汽车研究院人工智能团队承担了吉利汽车座舱 AI 智能化的方案建设,在和阿里云的合作中,基于星睿智算中心 2.0 的 23.5EFLOPS 强大算力,构建 AI 混合云架构,面向百万级用户的实时推理计算引入阿里云函数计算的 Serverless GPU 算力集群,共同为智能座舱的交互和娱乐功能提供大模型推理业务服务,涵盖的场景如针对模糊指令的复杂意图解析、文生图、情感 TTS 等。
|
消息中间件 运维 监控
爆款游戏背后:尚娱如何借助阿里云 Kafka Serverless 轻松驾驭“潮汐流量”?
阿里云 Kafka 不仅为尚娱提供了高可靠、低延迟的消息通道,更通过 Serverless 弹性架构实现了资源利用率和成本效益的双重优化,助力尚娱在快速迭代的游戏市场中实现敏捷运营、稳定交付与可持续增长。
588 87
|
消息中间件 存储 运维
嘉银科技基于阿里云 Kafka Serverless 提升业务弹性能力,节省成本超过 20%
云消息队列 Kafka 版 Serverless 系列凭借其秒级弹性扩展、按需付费、轻运维的优势,助力嘉银科技业务系统实现灵活扩缩容,在业务效率和成本优化上持续取得突破,保证服务的敏捷性和稳定性,并节省超过 20% 的成本。
1018 86
|
人工智能 机器人 Serverless
安诺机器人 X 阿里云函数计算 AI 咖啡印花解决方案
当云计算遇见具身智能,AI咖啡开启零售新体验。用户通过手机生成个性化图像,云端AI快速渲染,机器人精准复刻于咖啡奶泡之上,90秒内完成一杯可饮用的艺术品。该方案融合阿里云FunctionAI生图能力与安诺机器人高精度执行系统,实现AIGC创意到实体呈现的闭环,为线下零售提供低成本、高互动、易部署的智能化升级路径,已在商场、机场、展馆等场景落地应用。
安诺机器人 X 阿里云函数计算 AI 咖啡印花解决方案
|
人工智能 运维 安全
阿里云函数计算 AgentRun 全新发布,构筑智能体时代的基础设施
阿里云推出以函数计算为核心的AgentRun平台,通过创新体系解决开发、部署、运维难题,提供全面支持,已在多个真实业务场景验证,是AI原生时代重要基础设施。
|
人工智能 运维 安全
阿里云函数计算 AgentRun 全新发布,构筑智能体时代的基础设施
云原生应用平台 Serverless 计算负责人杨皓然在云栖大会发表主题演讲“Serverless Agent 基础设施:助力大规模 Agent 部署与运维”。本议题深入介绍了阿里云以函数计算为核心打造的 Agent 基础设施——AgentRun,阐述其如何通过创新的运行时、模型服务、网关及可观测体系,为企业构筑坚实、高效、安全的 Agent 时代基石。
|
DataWorks 数据挖掘 Serverless
阿里云EMR Serverless StarRocks 内容合集
阿里云 EMR StarRocks 提供存算分离架构,支持实时湖仓分析,适用于多种 OLAP 场景。结合 Paimon 与 Flink,助力企业高效处理海量数据,广泛应用于游戏、教育、生活服务等领域,显著提升数据分析效率与业务响应速度。
712 0
|
12月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
1105 30
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。
1107 12
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
1649 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用

相关产品

  • 云消息队列 Kafka 版