阿里云消息队列 Kafka 商业化首发 | 进一步提升 Kafka 在大数据生态中的价值

简介:

7月25日,阿里云即将直播发布消息队列Kafka,全面融合开源生态。

【直播传送门】

在全面兼容Apache Kafka生态的基础上,消息队列Kafka还具备了超易用,超高可用可靠性,扩缩容不操心,全方位安全诊断,数据安全有保障的特点。可用行达99.9%,数据可靠行99.999999%,彻底解决Apache Kafka稳定性不足的长期痛点,并且支持消息无缝迁移到云上。

_Kafka_3


» 全面兼容Apache Kafka生态

Apache Kafka是一个高吞吐的分布式,具备冗余备份的持久性化消息产品。正因为Apache Kafka为了分布式大数据而生,Apache Kafka 具有丰富的应用生态,主要包括以下三个方面:

  • 广泛应用于大数据领域,如网站行为分析、日志聚合、Apps监控、流式数据处理、在线和离线分析等;
  • 让数据集成变得简单:您能将 Kafka 中的消息导入到 ODPS、HBase、HBASE 等离线数据仓库;
  • 可广泛的与流计算引擎集成,包括阿里云平台的 StreamCompute、E-MapReduce 和开源产品 Spark、Storm 等;
  • 消息队列 Kafka 全面兼容Apache Kafka生态的基础上,还具备了超易用,超高可用可靠性,扩缩容不操心,全方位安全诊断,数据安全有保障的特点。

_Kafka_1


» 无缝迁移,自建无缝迁移到云上商业版

从自建 Kafka 到消息队列 Kafka,支持开源产品的无缝迁移,提供无门槛接入方式。那么消息队列 Kafka是如何做到让用户无缝迁移的呢?消息队列 Kafka 100% 兼容开源社区Apache Kafka(0.10.0.0 及以上版本),直接使用Kafka开源客户端便可与阿里云上消息队列Kafka进行通讯;对于原本使用开源 Apache Kafka的用户无需任何改造,即可迁移上云,享受到阿里云提供的消息队列 Kafka 服务;同时消息队列 Kafka 支持开源社区、阿里云平台产品的打通,与Kafka全生态能快速对接。


» 全托管服务,专业团队运维,客户0运维成本

Kafka团队提供专业的托管服务,用户无需关心各种运维细节。Kafka团队会从巡检 + 监控 + 告警三方面去保驾护航:

  • 提供HouseKeeping(健康巡检组件):自动在Kafka 核心链路的运行时巡检,每分钟会对集群做一次全面扫描诊断,并能针对不健康的状态进行告警,同时,每日出具整体巡检报告,方便运维人员每天观察 Kafka 系统的健康状态;
  • 业务监控与告警:每个 Consumer Group 都可以根据消息的堆积量情况进行监控与告警设置,帮助用户及时发现问题;
  • Open APIKafka 提供给用户的一整套完备的管控类 Open API,用于实现一系列资源管理和运维功能。

» 稳定安全,可用行达99.9%,数据可靠行99.999999%

优化开源Apache Kafka长期的痛点。支持海量消息堆积,在海量消息堆积的情况下,始终保持 Kafka 集群的消息收、发的高吞吐能力服务可用性达 99.9%;消息会持久化落盘到消息队列,在磁盘容量足够的情况下,未到期数据保障存储,数据可靠性达到 99.999999%。

支持阿里云 VPC 访问;支持权限控制,以消息主题(Topic)、订阅组(Consumer Group)的粒度对用户访问权限进行控制,对每一条消息(Message)的收、发都进行严格的访问控制,确保消息的安全性;访问安全,在非VPC环境下使用,基于阿里云账号体系,并利用 SSL 对通道进行加密传输,确保数据传输过程中不被窃取或篡改,保证客户数据的安全。

历经近10年的技术沉淀,阿里巴巴将企业互联网化的精华沉淀在Aliware上,后者支撑了99%以上的大规模应用,目前阿里云推出了企业级分布式应用服务EDAS、性能测试PTS、消息队列MQ等近10款Aliware产品,为政府央企、智能制造、新零售等众多领域领先企业提供了领先的PaaS云产品,消息队列Kafka的推出将为更多长期使用Apache Kafka的开发者带来更多便利。

目录
相关文章
|
10月前
|
消息中间件 人工智能 Kafka
AI 时代的数据通道:云消息队列 Kafka 的演进与实践
云消息队列 Kafka 版通过在架构创新、性能优化与生态融合等方面的突破性进展,为企业构建实时数据驱动的应用提供了坚实支撑,持续赋能客户业务创新。
838 81
|
分布式计算 DataWorks 大数据
阿里云ODPS的个人收获思考
在接触阿里云ODPS过程中,我深入了解了MaxCompute和DataWorks等产品。MaxCompute强大的数据处理能力显著提升了我的工作效率,而DataWorks的一站式开发与治理平台简化了数据流程管理。通过实践,我不仅掌握了高效的SQL编写与数据挖掘技巧,还提升了团队协作意识与大数据思维,为未来挑战打下了坚实基础。
255 3
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
648 0
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
1613 0
|
数据采集 机器学习/深度学习 人工智能
面向 MoE 和推理模型时代:阿里云大数据 AI 产品升级发布
2025 AI 势能大会上,阿里云大数据 AI 平台持续创新,贴合 MoE 架构、Reasoning Model 、 Agentic RAG、MCP 等新趋势,带来计算范式变革。多款大数据及 AI 产品重磅升级,助力企业客户高效地构建 AI 模型并落地 AI 应用。
|
11月前
|
消息中间件 Java Kafka
消息队列比较:Spring 微服务中的 Kafka 与 RabbitMQ
本文深入解析了 Kafka 和 RabbitMQ 两大主流消息队列在 Spring 微服务中的应用与对比。内容涵盖消息队列的基本原理、Kafka 与 RabbitMQ 的核心概念、各自优势及典型用例,并结合 Spring 生态的集成方式,帮助开发者根据实际需求选择合适的消息中间件,提升系统解耦、可扩展性与可靠性。
712 1
消息队列比较:Spring 微服务中的 Kafka 与 RabbitMQ
|
11月前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
768 2
|
人工智能 分布式计算 DataWorks
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望
阿里云ODPS技术栈通过MaxCompute、Object Table与MaxFrame等核心组件,实现了多模态数据的高效处理与智能分析。该架构支持结构化与非结构化数据的统一管理,并深度融合AI能力,显著降低了分布式计算门槛,推动企业数字化转型。未来,其在智慧城市、数字医疗、智能制造等领域具有广泛应用前景。
918 6
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望
|
11月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
921 1

相关产品

  • 云消息队列 Kafka 版