AutoMQ 产品动态 | 发布 1.1.0,兼容至 Apache Kafka 3.7,支持 Kaf

简介: AutoMQ 产品动态 | 发布 1.1.0,兼容至 Apache Kafka 3.7,支持 Kaf

2024年05-06月动态

01

云原生 Kafka 内核

AutoMQ 发布 1.1.0 版本,兼容 Apache Kafka 到 3.7 版本。

AutoMQ 采用存算分离的思路重构 Apache Kafka,计算层 100% 保留 Kafka 代码,可以更好、更快地适配 Apache Kafka 新版本。经过代码 Review、Chaos 测试和 500+ E2E 长时间验证,本月 AutoMQ 升级至 1.1.0 版本,适配 Kafka 到 3.7 版本。企业客户选择 AutoMQ 1.1.0 版本(Kafka 3.7 版本),可以获得如下更新和优化:Kafka Broker, Controller, Producer, Consumer

  • KIP-881:消费者分区分配支持 Rack-aware,节省跨 AZ 流量费用(3.5.0)

  • KIP-887:增加 EnvVarConfigProvider 支持从环境变量加载配置(3.5.0)

  • KIP-900:kafka-storage.sh API 增加对 KRaft SCRAM 验证支持(3.5.0)

  • KIP-890:事务消息服务端防御,避免特殊场景下的事务悬挂问题(3.6.0 / 3.7.0)

  • KIP-797:IPv4/IPv6 支持绑定到相同端口(3.6.0)

  • KIP-863:CompletedFetch#parseRecord 内存拷贝优化(3.6.0)

  • KIP-868:KRaft 支持以事务模式提交一系列 Records(3.6.0)

  • KIP-714:新增多语言统一的客户端 Metrics,提供从服务端查询客户端 Metrics 的能力(3.7.0)

  • KIP-848:(Early Access)下一代消费者重平衡协议(3.7.0)

  • KIP-951:客户端分区 Leader 发现优化,降低发送/消费的时间(3.7.0)

  • KIP-580:客户端指数退避重试(3.7.0)

Kafka Streams

  • KIP-889:新增 Versioned State Stores 提升在乱序场景下的 join 准确性(3.5.0)

  • KIP-923:为流表 Join 添加宽限期提升乱序处理能力(3.6.0)

  • KIP-941:Range 查询上下界支持 null(3.6.0)

  • KIP-925:Kafka Streams 支持 Rack aware 任务分配(3.7.0)

  • KIP-954:扩展默认的 DSL 存储配置支持自定义类型(3.7.0)

  • KIP-968:Versioned State Stores 新增 IQ 支持(3.7.0)

  • Kafka Connect

  • KIP-710:MirrorMaker 2.0 支持分布式模式(3.5.0)

  • KIP-898:Connect 插件服务发现能力增强(3.6.0)

  • KIP-976:新增集群维度动态日志等级调节(3.7.0)

  • KIP-980:支持创建停止状态的 Connectors(3.7.0)

更多关于新版本的升级优化,请参考https://downloads.apache.org/kafka/3.7.0/RELEASE_NOTES.html。

支持阿里云 Regional ESSD,更低的多 AZ 故障 RTO。

阿里云作为国内领先的云厂商,6 月发布 Regional ESSD(区域级块存储)。AutoMQ 进一步发挥云存储的优势,在 1.1.0 版本宣布支持 Regional ESSD,为客户在多 AZ 容灾场景下提供更低的故障 RTO 。

关于 Regional ESSD 的使用最佳实践,可以参考文末链接,联系我们。

02
产品能力升级

支持 Kafka ACL,自由配置 ACL 策略实现细粒度访问授权。

ACL 功能支持用户对集群、Topic、Consumer Group 以及 Transaction ID 进行细粒度访问控制。AutoMQ 同时对 Kafka ACL 进行操作简化,方便企业客户快速根据生产、消费和管理等多种场景进行角色授权。

支持 on K8s 部署,企业客户基于 Helm Chart 一键即可部署 AutoMQ。

企业客户基于 K8s 部署应用成为主流,AutoMQ 将存储分离至对象存储服务,计算层完全无状态,天然适合部署到 K8s 上。本月上线的 1.1.0 版本支持企业客户基于 Helm Chart 一键部署 AutoMQ 集群,并可以快速扩展和缩容。

如需体验了解 AutoMQ on K8s 部署,欢迎通过文末链接联系我们,获取支持。

AutoMQ 升级全新 Cloudscape UI,用户自助操作体验再提升。

本月 AutoMQ 环境控制台界面全部升级至 Cloudscape UI,进一步规范了操作组件和通用流程,新增自描述的帮助说明、用户自助操作体验再提升。

目录
相关文章
|
1月前
|
消息中间件 安全 Kafka
Apache Kafka安全加固指南:保护你的消息传递系统
【10月更文挑战第24天】在现代企业环境中,数据的安全性和隐私保护至关重要。Apache Kafka作为一款广泛使用的分布式流处理平台,其安全性直接影响着业务的稳定性和用户数据的安全。作为一名资深的Kafka使用者,我深知加强Kafka安全性的重要性。本文将从个人角度出发,分享我在实践中积累的经验,帮助读者了解如何有效地保护Kafka消息传递系统的安全性。
58 7
|
1月前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
77 5
|
1月前
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群:从理论到实践
【10月更文挑战第24天】随着大数据时代的到来,数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务,因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而,在构建大规模生产环境下的Kafka集群时,保证其高可用性是至关重要的。本文将从个人实践经验出发,详细介绍如何构建一个高可用性的Kafka集群,包括集群规划、节点配置以及故障恢复机制等方面。
67 4
|
1月前
|
消息中间件 监控 大数据
优化Apache Kafka性能:最佳实践与调优策略
【10月更文挑战第24天】作为一名已经对Apache Kafka有所了解并有实际使用经验的开发者,我深知在大数据处理和实时数据流传输中,Kafka的重要性不言而喻。然而,在面对日益增长的数据量和业务需求时,如何保证系统的高性能和稳定性成为了摆在我们面前的一个挑战。本文将从我的个人视角出发,分享一些关于如何通过合理的配置和调优来提高Kafka性能的经验和建议。
70 4
|
6天前
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
17 1
|
29天前
|
消息中间件 Ubuntu Java
Ubuntu系统上安装Apache Kafka
Ubuntu系统上安装Apache Kafka
|
1月前
|
消息中间件 监控 Kafka
Apache Kafka 成为处理实时数据流的关键组件。Kafka Manager 提供了一个简洁的 Web 界面
随着大数据技术的发展,Apache Kafka 成为处理实时数据流的关键组件。Kafka Manager 提供了一个简洁的 Web 界面,方便管理和监控 Kafka 集群。本文详细介绍了 Kafka Manager 的部署步骤和基本使用方法,包括配置文件的修改、启动命令、API 示例代码等,帮助你快速上手并有效管理 Kafka 集群。
42 0
|
2月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
703 13
Apache Flink 2.0-preview released
|
2月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
79 3
|
3月前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。

推荐镜像

更多