AutoMQ_个人页

2024年07月

• 07.29 21:04:08
  发表了文章 2024-07-29 21:04:08

  如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移

  随着大数据技术的飞速发展，Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，随着业务的扩展和技术的发展，企业面临着不断增加的存储成本和运维复杂性问题。为了更好地优化系统性能和降低运营成本，企业开始寻找更具优势的消息系统解决方案。其中，AutoMQ [1] 作为一种基于云重新设计的消息系统，凭借其显著的成本优势和弹性能力，成为了企业的理想选择。

  
• 07.29 21:01:42
  发表了文章 2024-07-29 21:01:42

  AutoMQ 开源可观测性方案：夜莺 Flashcat

  在现代企业中，随着数据处理需求的不断增长，AutoMQ [1] 作为一种高效、低成本的流处理系统，逐渐成为企业实时数据处理的关键组件。然而，随着集群规模的扩大和业务复杂性的增加，确保 AutoMQ 集群的稳定性、高可用性和性能优化变得尤为重要。因此，集成一个强大而全面的监控系统对于维护 AutoMQ 集群的健康运行至关重要。夜莺监控系统以其高效的数据采集、灵活的告警管理和丰富的可视化能力，成为企业监控AutoMQ 集群的理想选择。通过使用夜莺监控系统，企业可以实时掌握 AutoMQ 集群的运行状态，及时发现和解决潜在问题，优化系统性能，确保业务的连续性和稳定性。

  
• 07.29 11:54:59
  发表了文章 2024-07-29 11:54:59

  百行代码实现 Kafka 运行在 S3 之上

  AutoMQ 当前已经支持完全构建于像 S3 这样的对象存储之上。你可以参考快速上手 即刻开始体验。AutoMQ 在已有的流存储引擎之上仅仅通过对顶层 WAL 的抽象进行拓展实现少量代码即可做到一些友商引以为傲的的特性，即将流系统完全构建于像 S3 对象存储之上。值得一提的是，我们也已经将这部分源码完全公开，开发者可以利用 S3Stream 流存储引擎轻松在自己的环境中拥有一个完全部署在对象存储之上的 Kafka 服务，具备极低的存储成本和运维复杂度。

  
• 07.29 11:54:11
  发表了文章 2024-07-29 11:54:11

  活动回顾 | AutoMQ 联合 GreptimeDB 共同探讨新能源汽车数据基础设施

  7 月 13 日，AutoMQ 携手 GreptimeDB“新能源汽车数据基础设施” 主题 meetup 在上海圆满落幕。本次论坛多角度探讨如何通过创新的数据管理和存储架构，提升汽车系统的性能、安全性和可靠性，从而驱动行业的持续发展和创新，涵盖 AutoMQ 多模态共享存储架构、长城汽车多云多活架构的实践与探索、GreptimeDB 边云一体化数据库介绍、小红书深度解读 AutoMQ 云原生及多云容灾架构、车载嵌入式时序数据库的技术挑战和方案等议题。

  
• 07.29 11:53:31
  发表了文章 2024-07-29 11:53:31

  如何使用观测云监测 AutoMQ 集群状态

  观测云 [1] 是一款专为云平台、云原生、应用及业务相关需求设计的统一实时监测应用，集成了指标、日志和追踪三大信号，覆盖测试、预发和生产环境，实现对软件开发全生命周期的可观测性。通过观测云，企业能够构建完整的应用全链路可观测性，提升整体 IT 架构的透明度和可控性。作为一个强大的数据分析平台，观测云包括多个核心模块，如 DataKit [2] 统一数据采集器和 DataFlux Func 数据处理开发平台。

  
• 07.29 11:52:26
  发表了文章 2024-07-29 11:52:26

  AutoMQ 生态集成 Redpanda Console

  今天分享的内容是如何通过 Redpanda Console对 AutoMQ 集群状态进行监控，以提高系统的可维护性和稳定性。

  
• 07.29 11:51:53
  发表了文章 2024-07-29 11:51:53

  AutoMQ 社区双周精选第十二期（2024.06.29~2024.07.12）

  欢迎来到 AutoMQ 第十一期双周精选！在过去两周里，主干动态方面，AutoMQ 跟进了 Apache Kafka 3.4.x BUG 修复，并进行了CPU & GC 性能优化，另外，AutoBalancing 的 Reporter 和 Retriever 也将支持指定 Listener Name 配置接入点。

  
• 07.29 11:50:32
  发表了文章 2024-07-29 11:50:32

  AutoMQ 中的元数据管理

  AutoMQ 作为新一代基于云原生理念重新设计的 Apache Kafka 发行版，其底层存储从传统的本地磁盘替换成了以对象存储为主的共享存储服务。对象存储为 带来可观成本优势的同时，其与传统本地磁盘的接口和计费方式的差异也为 AutoMQ 在实现上带来了挑战，为解决这一问题，AutoMQ 基于 KRaft 进行拓展，实现了一套针对对象存储环境的流存储元数据管理机制，在兼顾成本的同时，极大的保证了基于对象存储的读写性能。
• 07.29 11:50:03
  发表了文章 2024-07-29 11:50:03

  Java ZGC 深度剖析及其在构建低延迟流系统中的实践心得

  AutoMQ 基于 ZGC 进行了一系列调优，以获得更低的延迟。在本文中，我们将详细介绍 ZGC 的工作原理，以及如何通过调整和优化 ZGC 的配置来实现更低的延迟，从而提高 Java 应用程序的性能和响应能力。

  
• 07.29 11:47:18
  发表了文章 2024-07-29 11:47:18

  AutoMQ vs Kafka: 来自小红书的独立深度评测与对比

  当前小红书消息引擎团队与 AutoMQ 团队正在深度合作，共同推动社区建设，探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架，对 AutoMQ 进行了全面测评。欢迎大家参与社区并分享测评体验。

  
• 07.09 16:07:38
  发表了文章 2024-07-09 16:07:38

  基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境

  基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境

  
• 07.09 16:06:54
  发表了文章 2024-07-09 16:06:54

  AutoMQ vs Kafka: 来自小红书的独立深度评测与对比

  AutoMQ vs Kafka: 来自小红书的独立深度评测与对比

  
• 07.09 16:06:12
  发表了文章 2024-07-09 16:06:12

  AutoMQ 产品动态 | 发布 1.1.0，兼容至 Apache Kafka 3.7，支持 Kaf

  AutoMQ 产品动态 | 发布 1.1.0，兼容至 Apache Kafka 3.7，支持 Kaf

  
• 07.09 16:05:26
  发表了文章 2024-07-09 16:05:26

  Java ZGC 深度剖析及其在构建低延迟流系统中的实践心得

  Java ZGC 深度剖析及其在构建低延迟流系统中的实践心得

  

2024年06月

• 06.17 19:12:21
  发表了文章 2024-06-17 19:12:21

  「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控

  本文由北京宝兰德公司解决方案总监徐清康撰写，探讨了Kafka和AutoMQ集群的监控。

  
• 06.17 17:37:16
  发表了文章 2024-06-17 17:37:16

  AutoMQ 社区双周精选第十一期（2024.05.27~2024.06.12）

  AutoMQ v1.0 追踪修复Apache Kafka 3.4.x多个BUG，提升CPU与GC性能。优化包括修复Raft线程异常、死锁及NPE问题，防止网络分区导致脑裂。Netty Chunk大小调整减少CPU使用，取消跨块分配策略以降低GC负担。此外，AutoBalancing的Reporter和Retriever现支持指定Listener Name进行安全配置。关注公众号获取更多社区更新，一起参与云原生消息中间件建设！
• 06.17 17:36:01
  发表了文章 2024-06-17 17:36:01

  AutoMQ 生态集成 CubeFS

  立方体文件系统（CubeFS）是一个云原生存储解决方案，现为CNCF孵化项目，支持S3、POSIX、HDFS等协议，提供多租户、多AZ部署和跨区域复制等功能，适用于大数据、AI、容器平台等场景。要部署AutoMQ集群，需先准备CubeFS集群，启用对象网关，创建用户并配置S3接口，然后创建Bucket。接着，下载AutoMQ二进制包，使用S3 URL生成器配置并启动集群，确保所有主机在同一网络并配置正确端口。启动时，先启动控制器，再启动Broker节点。注意，部署在私有数据中心时，需考虑SSD的可靠性，可能需要RAID配置。
• 06.06 14:52:56
  发表了文章 2024-06-06 14:52:56

  Kafka 如何基于 KRaft 实现集群最终一致性协调

  Kafka 3.3.1 引入了 KRaft 元数据管理组件，替代 Zookeeper，以简化集群一致性维护，支持更大规模集群并减轻运维复杂性。在 Zookeeper 模式下，需同时运维 ZK 和 Broker，而 KRaft 模式仅需 3 个节点即可构成最小生产集群，且通信协调基于 Raft 协议，增强了一致性。KRaft 模式中，Controller 使用单线程处理请求，通过 KRaft 保持内存状态与多节点一致性。此外，Broker 根据 KRaft 记录更新元数据，实现声明式管理，提高集群协调效率。KRaft 的引入是集群协调机制的演进，采用事件驱动模型实现元数据的一致性。

  
• 06.06 14:43:56
  发表了文章 2024-06-06 14:43:56

  「布道师系列文章」众安保险王凯解析 Kafka 网络通信

  本文由众安保险基础平台 Java 开发专家王凯解析 Kafka 网络通信流程，重点关注请求处理和网络通信模型。文中介绍了生产者与消费者与消息队列的交互，以及服务器端的处理步骤，包括 Acceptor、Processor 和 RequestHandler 的工作原理。此外，还讨论了 Kafka 的线程模型，特别是 KafkaApis 在请求处理中的核心作用。最后，文章提到了 AutoMQ 如何通过优化线程模型和 RequestChannel 实现更高效、有序的处理。参考链接包括 Kafka 3.7、Java NIO 教程和 AutoMQ 相关资料。

  
• 06.06 14:42:29
  发表了文章 2024-06-06 14:42:29

  AutoMQ 自动化持续测试平台技术内幕

  Marathon 是一个针对流系统 AutoMQ 的自动化持续测试平台，旨在在模拟生产环境和各种故障场景中验证 SLA 的可靠性。设计原则包括易拓展、可观测和低成本。平台采用分布式架构，Controller 负责资源管理和任务编排，动态调整 Worker 数量和配置，而 Worker 是无状态的，用于生成负载和上报数据。系统基于 K8S，利用服务发现、事件总线和 Spot 实例降低成本并提高弹性。测试场景以代码形式描述，支持不同流量模型和断言，提供丰富的可观测性和告警功能。未来，Marathon 有望泛化为适用于各种分布式系统的测试平台。

  

2024年05月

• 05.27 16:09:40
  发表了文章 2024-05-27 16:09:40

  AutoMQ 云上十倍成本节约的奥秘： SPOT 实例

  AutoMQ Kafka 优化设计，充分利用云基础设施，尤其是成本低廉的Spot实例，实现公有云成本节约。尽管Spot实例的不确定性可能导致服务中断，AutoMQ通过Broker无状态化、快速弹性扩展和Serverless支持，以及应对Spot实例回收的优雅停机和容灾机制，确保了可靠的Kafka服务。混合使用按需实例以保证关键服务稳定，同时在面临Spot实例库存不足时，具备回退到按需实例的能力。AutoMQ Kafka通过创新技术在稳定性与成本之间找到了平衡，为用户提供灵活且经济高效的解决方案。

  
• 05.24 17:20:19
  发表了文章 2024-05-24 17:20:19

  活动回顾 | AutoMQ 云原生创新论坛精彩回放

  在12月16日的“AutoMQ云原生创新论坛”上，AutoMQ联合创始人CTO周新宇介绍了AutoMQ的新特性，强调云原生架构和未来规划。阿里云和亚马逊云的技术专家分享了OSS成本优化与EC2的Nitro系统。圆桌对话中，嘉宾讨论了上云与下云的挑战，聚焦成本、故障处理和弹性。论坛还发布了AutoMQ的新版产品特性，包括多云兼容、性能提升和RocketMQ的创新解决方案。活动提供了丰富的资源分享，并激发了现场热烈的技术交流。
• 05.24 17:18:14
  发表了文章 2024-05-24 17:18:14

  如何解决 Kafka 冷读副作用

  AutoMQ，新一代云原生 Kafka，解决原 Kafka 的迁移复制低效、弹性不足和高成本问题。本文探讨 Kafka 的冷读（追赶读）副作用，如硬盘 I/O 争抢、Page Cache 污染和 Zero Copy 阻塞。Kafka 的冷读依赖本地存储，导致性能瓶颈。AutoMQ 通过对象存储实现冷热隔离，避免 I/O 争抢；自主管理内存，减少 Page Cache 污染；异步 I/O 响应网络层，提高效率。此外，AutoMQ 优化冷读性能，确保批处理和故障恢复时的高效运行。
• 05.24 14:17:23
  发表了文章 2024-05-24 14:17:23

  AutoMQ 社区双周精选第十期

  AutoMQ 发布1.0.5版，更改默认日志滚动为大小滚动，限制日志空间在5GiB内，增强大规模对象删除性能。AutoBalancing调度加速，使用攒批间隔策略执行Action，每批对单一节点操作不超过50，批次间间隔5秒。
• 05.24 14:16:32
  发表了文章 2024-05-24 14:16:32

  AutoMQ 对象存储数据高效组织的秘密: Compaction

  AutoMQ是一款使用对象存储的消息系统，通过内存攒批和EBS持久化降低API调用成本。它有两种对象类型：Stream Set Object和Stream Object。Compaction过程用于数据清理、减少元数据和提升读取性能。Compaction包括SSO和SO两阶段，本文聚焦于SSO Compaction，涉及索引解析、排序、数据段分裂和迭代计划。每个迭代按内存限制划分任务，读取数据段并上传新对象，最后提交元数据更新。AutoMQ还有其他特性如Force Split和分级限流。团队由Apache RocketMQ和Linux LVS背景成员组成，致力于提供低成本、高弹性的消息服务。

  
• 05.24 14:14:42
  发表了文章 2024-05-24 14:14:42

  原理剖析| 一文搞懂 Kafka Producer（上）

  本文介绍了Apache Kafka 3.7的Producer使用及原理，讲解了如何创建和使用Producer，展示了一个发送消息的示例代码，并介绍了ProducerRecord和Callback接口。ProducerRecord包含topic、partition等属性，Callback用于发送消息后的回调处理。接着阐述了send、flush和close方法的功能。文章还探讨了核心组件，包括ProducerMetadata、RecordAccumulator、Sender和TransactionManager，以及消息发送流程。最后，讨论了元数据刷新、分区选择、消息攒批和超时处理等实现细节。

  
• 05.24 14:13:18
  发表了文章 2024-05-24 14:13:18

  盘点 AutoMQ 深度使用的阿里云云原生技术

  AutoMQ是云原生Kafka实现，采用共享存储架构，与阿里云合作利用OSS、ESSD、ESS和抢占式实例降低成本，实现10倍于Apache Kafka的性价比，并提供自动弹性。它使用对象存储OSS实现流式数据高效读取，通过ESSD作为WAL保证性能，弹性伸缩服务ESS简化交付，抢占式实例降低成本。此外，AutoMQ利用ECS的高可用性和ESSD的高性能存储，结合NVMe协议和多重挂载技术，实现快速故障恢复和低成本运维。该系统旨在充分利用云原生能力，推动消息和流存储服务进步。
• 05.24 14:12:06
  发表了文章 2024-05-24 14:12:06

  AutoMQ 生态集成 Apache Doris

  Apache Doris 是一个高性能的分析型数据库，以其亚秒级查询响应和对复杂分析的支持而知名。它适合报表分析、即席查询等场景，能从 AutoMQ 通过 Routine Load 导入 Kafka 主题数据。本文详述了如何配置 Doris 环境，创建测试数据，以及设置 Routine Load 作业从 AutoMQ 导入 JSON 数据到 Doris 表的过程。最后，文中展示了验证数据成功导入的方法。Apache Doris 提供了低成本、高弹性的数据处理解决方案，其团队由 Apache RocketMQ 和 Linux LVS 的核心成员组成。
• 05.24 14:11:22
  发表了文章 2024-05-24 14:11:22

  AutoMQ 产品动态 | 企业版正式上线阿里云、AWS 中国区云市场

  AutoMQ在2024年3-4月推出企业版服务，现已上线阿里云和AWS中国区云市场，用户可自助开通。支持按小时和包年包月付费，以及订阅许可证模式，实现跨IDC环境交付。企业版提供同城3AZ容灾集群，确保服务高可用。此外，还推出了Kafka全托管迁移工具和集群自助版本升级功能，保障平滑迁移和无缝升级。详情见参考资料。AutoMQ团队由Apache RocketMQ和Linux LVS核心成员组成，致力于提供成本优化和高效弹性的消息队列服务。

  
• 05.11 17:59:10
  发表了文章 2024-05-11 17:59:10

  分层存储救不了Kafka

  Apache Kafka，作为流处理领域的标杆，面临云环境下的挑战，如高存储成本、运维复杂性和性能瓶颈。传统的本地磁盘Shared Nothing架构导致这些问题，而分层存储仅部分缓解，未根本解决问题。直接写入S3虽降低成本，但牺牲了延迟。为解决这些痛点，提出了创新的共享存储架构，通过EBS+S3实现存算分离，保持低延迟并提高弹性，同时降低成本和运维复杂性。该架构将EBS视为共享存储，实现Broker与存储的解耦，确保在云时代引领流处理系统的发展。

  
• 05.09 18:17:22
  发表了文章 2024-05-09 18:17:22

  AutoMQ 如何基于裸设备实现高性能的 WAL

  AutoMQ是基于S3 Stream的Apache Kafka云原生解决方案，利用云盘和对象存储实现低延迟、高吞吐、低成本流式存储。Delta WAL是其核心组件，作为持久化写入缓冲区，先在云盘上做高效持久化，再上传至对象存储。Delta WAL采用Direct IO在裸设备上读写，避免Page Cache污染，提高写入性能，加快宕机恢复速度。设计目标包括轮转写入、充分利用云盘性能和快速恢复。其写入和恢复流程涉及WALHeader、RecordHeader和SlidingWindow数据结构。基准测试显示，Delta WAL能充分利用云盘资源，实现高吞吐和低延迟。

  
• 05.09 18:13:41
  发表了文章 2024-05-09 18:13:41

  Kafka 线程模型痛点攻克： 提升分区写入 2 倍性能

  Apache Kafka的单分区写入性能在某些严格保序场景中至关重要，但其现有线程模型限制了性能发挥。本文分析了Kafka的串行处理模型，包括SocketServer、KafkaChannel、RequestChannel等组件，指出其通过KafkaChannel状态机确保请求顺序处理，导致处理效率低下。AutoMQ提出流水线处理模型，简化KafkaChannel状态机，实现网络解析、校验定序和持久化的阶段间并行化，提高处理效率。测试结果显示，AutoMQ的极限吞吐是Kafka的2倍，P99延迟降低至11ms。

  
• 05.06 14:57:00
  发表了文章 2024-05-06 14:57:00

  AutoMQ 系统测试体系揭秘

  Apache Kafka 的系统测试框架包括1000+的集成和性能测试，使用ducktape框架，支持Docker、虚拟机和AWS EC2环境。AutoMQ基于此框架确保代码健壮性和与Kafka的兼容性。测试通过Docker环境运行，目录结构包含Docker、kafkatest等子目录，测试case位于kafkatest/tests中。运行测试使用`run_tests.sh`脚本，测试结果和日志会被保存。AutoMQ目前有543个系统测试案例，每日通过GitHub Action自动运行，保证与Kafka的兼容性和服务健壮性。

  
• 05.06 14:55:39
  发表了文章 2024-05-06 14:55:39

  Kafka Exactly Once 语义实现原理：幂等性与事务消息

  Apache Kafka的Exactly-Once语义确保了消息处理的准确性和一致性。通过幂等性和事务消息，Kafka实现了要么全处理要么全不处理的原子性。文章详细解析了Kafka事务的工作流程，包括生产者的幂等性（通过序列号保证），以及事务消息的提交和回滚过程。Kafka事务提供了ACID保证，但存在性能限制，如额外的RPC请求和单生产者只能执行一个事务。此外，事务适用于同集群内的操作，跨集群时原子性无法保证。了解这些原理有助于开发者更好地利用Kafka事务构建可靠的数据处理系统。

  
• 05.06 14:54:25
  发表了文章 2024-05-06 14:54:25

  小红书黄章衡：AutoMQ Serverless 基石-秒级分区迁移

  Apache Kafka的分区迁移通常需要大量数据同步，耗时较长，但在AutoMQ中，由于存算分离架构，迁移时间缩短至秒级。本文深入解析了AutoMQ秒级迁移的原理和源码，包括构建迁移命令、Broker同步变更、元数据持久化、数据上传、选主以及数据恢复等六个步骤。这种高效迁移能力适用于高峰期快速扩容和Serverless按需扩容场景，提升了系统的弹性和运维效率。AutoMQ由Apache RocketMQ和Linux LVS团队创建，旨在提供成本优化和高弹性消息队列服务。

  
• 05.06 14:51:59
  发表了文章 2024-05-06 14:51:59

  云上如何实现 Autoscaling: AutoMQ 的实战经验与教训

  文章介绍了 AutoMQ 的 Autoscaling 架构，包括利用云服务如 AWS 的 Auto Scaling Group 和 Cloud Watch，以及弹性策略的选取和优化。面临的挑战包括理解云服务的弹性策略、找到触发弹性的理想指标，以及应对不同场景的弹性需求。AutoMQ 最终采用定时和自定义目标跟踪策略来实现弹性，并展示了其在流量变化下的弹性效果。未来，AutoMQ 计划优化弹性策略、支持多云、自定义监控和 Kubernetes 集成。

  
• 05.06 14:48:11
  发表了文章 2024-05-06 14:48:11

  为什么公共云的弹性能力很难被发挥出来？

  本文探讨了云计算的弹性能力与实际应用的差距，指出云厂商的包年包月策略与弹性需求相冲突。作者建议改进Spot实例回收机制和资源创建API的SLA，以促进更广泛的弹性使用。同时，文章强调程序员在资源回收上的挑战，类比于编程语言中内存管理的问题，提出需要更好的资源回收解决方案。此外，基础软件和应用层尚未充分准备好支持弹性，尤其是有状态应用。企业应利用Cloud Run等托管服务实现计算资源弹性，并选择支持弹性的基础软件。文章还介绍了AutoMQ如何利用弹性能力降低成本，并预告了一场相关 Meetup 活动。

  
• 05.06 14:46:23
  发表了文章 2024-05-06 14:46:23

  Kafka 迁移工具 MirrorMaker2 原理起底

  MirrorMaker2 (MM2) 是 Kafka 从 2.4.0 开始提供的数据复制工具，用于集群间的数据同步和备份。MM2 有三种部署模式：dedicated mode、standalone mode 和 Kafka Connect mode。AutoMQ即将推出基于MM2的迁移产品，助力用户平滑迁移到AutoMQ平台。

  
• 05.06 14:43:24
  发表了文章 2024-05-06 14:43:24

  从 Redis 开源协议变更看开源软件与云计算巨头之间的竞争博弈

  Redis将从BSD许可证转向RSALv2和SSPLv1的双重许可，以应对云时代挑战，保护开源精神，防止云厂商垄断。这一变化旨在确保开源软件的公平竞争，类似过去IE浏览器与操作系统绑定的情况。Redis的CEO指出，旧开源概念已不合时宜，云厂商应为使用开源项目做出贡献。AutoMQ作为云原生Kafka，采用BSL协议，旨在平衡开源与商业竞争，坚持可持续发展和开源初心。