AutoMQ 社区双周精选第十二期(2024.06.29~2024.07.12)

简介: 欢迎来到 AutoMQ 第十一期双周精选!在过去两周里,主干动态方面,AutoMQ 跟进了 Apache Kafka 3.4.x BUG 修复,并进行了CPU & GC 性能优化,另外,AutoBalancing 的 Reporter 和 Retriever 也将支持指定 Listener Name 配置接入点。

本期概要

欢迎来到 AutoMQ 第十一期双周精选!在过去两周里,主干动态方面,AutoMQ 跟进了 Apache Kafka 3.4.x BUG 修复,并进行了CPU & GC 性能优化,另外,AutoBalancing 的 Reporter 和 Retriever 也将支持指定 Listener Name 配置接入点。

社区贡献者名单

祝贺 @lifepuzzlefun 成为我们的活跃共享者:

  • @lifepuzzlefun:#1411、#1447、#1469、#1487、#1493、#1507、#1513、#1518、#1521、#1522、#1535

欢迎 @yx9o、@jitokim、@wensongz、@vintagewang、@sullis、@szepeviktor、@llzcx 和 @mapan1984 为社区注入了新鲜的血液,并成功合并了首个 PR。

AutoMQ 主干动态

Direct On S3 抢先体验

https://github.com/AutoMQ/automq/releases/tag/1.2.0-beta0Direct on S3 抢先体验版发布!无磁盘管理、99.999999999% 数据持久性、“零开销” AZ 级容灾,仅需修改一行配置项即可体验。

s3.wal.path=0@s3://<your-bucket>?region=<your-region>&endpoint=<your-s3-endpoint>

10w 分区 10GiB/s 大规模集群元数据优化

1419 #1464

  • S3Object 和 S3StreamMetadata 在 Delta 和 Image 中的内存数据结构替换成 TimelineHashMap,避免元数据频繁变更引发 Map 拷贝;

  • StreamSetObject 内存索引信息卸载到对象存储,降低 KRaft 元数据内存占用和 Checkpoint 空间占用;

  • 阶段性优化结果:AutoMQ 可以在 10w 活跃写入分区、7GiB/s 写入流量和 90 个 2C16G 节点规模下稳定运行。KRaft Checkpoint 空间占用从 600MiB 下降到 100MiB;

新增 Composite Object 类型

1432 #1437 #1443

  • Composite Object 将多个物理 Object 通过软链的形式逻辑合并成一个大的 Object,底层的物理 Object 保持 4MB 左右的大小,而 Composite Object 逻辑上可以软链 10 GiB 的数据量;

  • Compaction 基于 Composite Object 无需创建 MultiPart Object和使用 UploadPartCopy API,可以获得更快的合并速度、更低的合并成本;

  • 优化结果:Compaction API 调用成本和 Compaction 耗时仅为原来物理合并的 10%;

以上是第十二期《双周精选》的内容,欢迎关注我们的公众号,我们会定期更新 AutoMQ 社区的进展。同时,也诚邀各位开源爱好者持续关注我们社区,跟我们一起构建云原生消息中间件!

END

关于我们

我们是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队,曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念,重新设计并实现了 Apache Kafka 和 Apache RocketMQ,带来高达 10 倍的成本优势和百倍的弹性效率提升。

🌟 GitHub 地址:https://github.com/AutoMQ/automq
💻 官网:https://www.automq.com

目录
相关文章
|
7月前
|
消息中间件 Cloud Native Java
AutoMQ 社区双周精选第十一期(2024.05.27~2024.06.12)
AutoMQ v1.0 追踪修复Apache Kafka 3.4.x多个BUG,提升CPU与GC性能。优化包括修复Raft线程异常、死锁及NPE问题,防止网络分区导致脑裂。Netty Chunk大小调整减少CPU使用,取消跨块分配策略以降低GC负担。此外,AutoBalancing的Reporter和Retriever现支持指定Listener Name进行安全配置。关注公众号获取更多社区更新,一起参与云原生消息中间件建设!
49 3
|
8月前
|
消息中间件 Cloud Native 调度
AutoMQ 社区双周精选第十期
AutoMQ 发布1.0.5版,更改默认日志滚动为大小滚动,限制日志空间在5GiB内,增强大规模对象删除性能。AutoBalancing调度加速,使用攒批间隔策略执行Action,每批对单一节点操作不超过50,批次间间隔5秒。
44 0
|
SQL 机器学习/深度学习 人工智能
隐语开源社区【精选问答】第三期
隐语开源社区【精选问答】第三期
434 0
|
机器学习/深度学习 缓存 算法
隐语开源社区【精选问答】第四期
隐语开源社区【精选问答】第四期
368 0
|
自然语言处理 供应链 负载均衡
【开源之夏 2023】欢迎报名 MOSN 社区项目!
2023 年,MOSN 社区再次加入中国科学院软件研究所的高校开源活动—— “开源之夏 2023” ,为大家准备了三个任务,涉及 Go、HTTP、Security、Software-Defined Networking、Container 等多个领域。
|
人工智能 Serverless 云栖大会
云栖大会划重点!重大发布持续更新中
云栖大会三日,有哪些重磅发布?开发者精选持续更新中
|
Cloud Native 安全 Java
「开源人说」第二期重磅上线!一起走进《从开源中来,到开源中去》
你是否思考过开源的意义?是获取免费种子用户?还是技术贡献社会价值? 开源意义千人千面,最重要的是参与进来和分享出去。贯彻开源精神,龙蜥社区从Linux开源而来,CentOS替换出发,捐赠给开放原子这样的第三方中立开源基金会,到开源中去,最后落地千行百业中去产生实际价值。从开源中来,到开源中去,龙蜥社区曾走过一条怎样的开源之路?
181227 11
「开源人说」第二期重磅上线!一起走进《从开源中来,到开源中去》
|
JSON 供应链 安全
十年磨一剑,墨菲安全正式发布开源项目murphysec(一)
十年磨一剑,墨菲安全正式发布开源项目murphysec
十年磨一剑,墨菲安全正式发布开源项目murphysec(一)
|
安全 IDE jenkins
十年磨一剑,墨菲安全正式发布开源项目murphysec(二)
十年磨一剑,墨菲安全正式发布开源项目murphysec
十年磨一剑,墨菲安全正式发布开源项目murphysec(二)
|
存储 人工智能 运维
2022云栖精选—SYSOM在系统可靠性与安全上实践
魏东 统信软件高级系统研发工程师
278 0
2022云栖精选—SYSOM在系统可靠性与安全上实践

热门文章

最新文章