AutoMQ 产品动态 | 发布 1.1.0,兼容至 Apache Kafka 3.7,支持 Kaf

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: AutoMQ 产品动态 | 发布 1.1.0,兼容至 Apache Kafka 3.7,支持 Kaf

2024年05-06月动态

01

云原生 Kafka 内核

AutoMQ 发布 1.1.0 版本,兼容 Apache Kafka 到 3.7 版本。

AutoMQ 采用存算分离的思路重构 Apache Kafka,计算层 100% 保留 Kafka 代码,可以更好、更快地适配 Apache Kafka 新版本。经过代码 Review、Chaos 测试和 500+ E2E 长时间验证,本月 AutoMQ 升级至 1.1.0 版本,适配 Kafka 到 3.7 版本。企业客户选择 AutoMQ 1.1.0 版本(Kafka 3.7 版本),可以获得如下更新和优化:Kafka Broker, Controller, Producer, Consumer

  • KIP-881:消费者分区分配支持 Rack-aware,节省跨 AZ 流量费用(3.5.0)

  • KIP-887:增加 EnvVarConfigProvider 支持从环境变量加载配置(3.5.0)

  • KIP-900:kafka-storage.sh API 增加对 KRaft SCRAM 验证支持(3.5.0)

  • KIP-890:事务消息服务端防御,避免特殊场景下的事务悬挂问题(3.6.0 / 3.7.0)

  • KIP-797:IPv4/IPv6 支持绑定到相同端口(3.6.0)

  • KIP-863:CompletedFetch#parseRecord 内存拷贝优化(3.6.0)

  • KIP-868:KRaft 支持以事务模式提交一系列 Records(3.6.0)

  • KIP-714:新增多语言统一的客户端 Metrics,提供从服务端查询客户端 Metrics 的能力(3.7.0)

  • KIP-848:(Early Access)下一代消费者重平衡协议(3.7.0)

  • KIP-951:客户端分区 Leader 发现优化,降低发送/消费的时间(3.7.0)

  • KIP-580:客户端指数退避重试(3.7.0)

Kafka Streams

  • KIP-889:新增 Versioned State Stores 提升在乱序场景下的 join 准确性(3.5.0)

  • KIP-923:为流表 Join 添加宽限期提升乱序处理能力(3.6.0)

  • KIP-941:Range 查询上下界支持 null(3.6.0)

  • KIP-925:Kafka Streams 支持 Rack aware 任务分配(3.7.0)

  • KIP-954:扩展默认的 DSL 存储配置支持自定义类型(3.7.0)

  • KIP-968:Versioned State Stores 新增 IQ 支持(3.7.0)

  • Kafka Connect

  • KIP-710:MirrorMaker 2.0 支持分布式模式(3.5.0)

  • KIP-898:Connect 插件服务发现能力增强(3.6.0)

  • KIP-976:新增集群维度动态日志等级调节(3.7.0)

  • KIP-980:支持创建停止状态的 Connectors(3.7.0)

更多关于新版本的升级优化,请参考https://downloads.apache.org/kafka/3.7.0/RELEASE_NOTES.html。

支持阿里云 Regional ESSD,更低的多 AZ 故障 RTO。

阿里云作为国内领先的云厂商,6 月发布 Regional ESSD(区域级块存储)。AutoMQ 进一步发挥云存储的优势,在 1.1.0 版本宣布支持 Regional ESSD,为客户在多 AZ 容灾场景下提供更低的故障 RTO 。

关于 Regional ESSD 的使用最佳实践,可以参考文末链接,联系我们。

02
产品能力升级

支持 Kafka ACL,自由配置 ACL 策略实现细粒度访问授权。

ACL 功能支持用户对集群、Topic、Consumer Group 以及 Transaction ID 进行细粒度访问控制。AutoMQ 同时对 Kafka ACL 进行操作简化,方便企业客户快速根据生产、消费和管理等多种场景进行角色授权。

支持 on K8s 部署,企业客户基于 Helm Chart 一键即可部署 AutoMQ。

企业客户基于 K8s 部署应用成为主流,AutoMQ 将存储分离至对象存储服务,计算层完全无状态,天然适合部署到 K8s 上。本月上线的 1.1.0 版本支持企业客户基于 Helm Chart 一键部署 AutoMQ 集群,并可以快速扩展和缩容。

如需体验了解 AutoMQ on K8s 部署,欢迎通过文末链接联系我们,获取支持。

AutoMQ 升级全新 Cloudscape UI,用户自助操作体验再提升。

本月 AutoMQ 环境控制台界面全部升级至 Cloudscape UI,进一步规范了操作组件和通用流程,新增自描述的帮助说明、用户自助操作体验再提升。

目录
相关文章
|
4天前
|
消息中间件 Ubuntu Java
在Ubuntu 18.04上安装Apache Kafka的方法
在Ubuntu 18.04上安装Apache Kafka的方法
15 0
|
21天前
|
消息中间件 Cloud Native Kafka
AutoMQ vs Kafka: 来自小红书的独立深度评测与对比
当前小红书消息引擎团队与 AutoMQ 团队正在深度合作,共同推动社区建设,探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架,对 AutoMQ 进行了全面测评。欢迎大家参与社区并分享测评体验。
32 2
AutoMQ vs Kafka: 来自小红书的独立深度评测与对比
|
21天前
|
消息中间件 存储 Kafka
如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移
随着大数据技术的飞速发展,Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统,已经成为企业实时数据处理的核心组件。然而,随着业务的扩展和技术的发展,企业面临着不断增加的存储成本和运维复杂性问题。为了更好地优化系统性能和降低运营成本,企业开始寻找更具优势的消息系统解决方案。其中,AutoMQ [1] 作为一种基于云重新设计的消息系统,凭借其显著的成本优势和弹性能力,成为了企业的理想选择。
14 0
如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移
|
1天前
|
消息中间件 SQL Java
实时数仓 Hologres产品使用合集之如何用python将kafka数据写入
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
4天前
|
消息中间件 存储 Ubuntu
在Ubuntu 14.04上安装Apache Kafka的方法
在Ubuntu 14.04上安装Apache Kafka的方法
8 0
|
4天前
|
消息中间件 Kafka Apache
流计算引擎数据问题之Apache Kafka Streams 没有采用低水印方案如何解决
流计算引擎数据问题之Apache Kafka Streams 没有采用低水印方案如何解决
12 0
|
1月前
|
消息中间件 SQL 分布式计算
DataWorks产品使用合集之如何离线增量同步Kafka数据,并指定时间范围进行同步
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
SQL 分布式计算 Hadoop
实时计算 Flink版产品使用问题之建了一张upsert-kafka的flink表,但是数据为空,该如何排查
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
消息中间件 SQL Kafka
实时计算 Flink版产品使用问题之如何实现两个阿里云账号下的Kafka进行数据的互相传输
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
消息中间件 存储 资源调度
实时计算 Flink版产品使用问题之在消费Kafka的Avro消息,如何配置FlinkKafka消费者的相关参数
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

推荐镜像

更多