AutoMQ
AutoMQ_个人页
AutoMQ
文章
42
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2024-06-17
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
本文由北京宝兰德公司解决方案总监徐清康撰写，探讨了Kafka和AutoMQ集群的监控。
-
发表了文章 2024-06-17
AutoMQ 生态集成 CubeFS
立方体文件系统（CubeFS）是一个云原生存储解决方案，现为CNCF孵化项目，支持S3、POSIX、HDFS等协议，提供多租户、多AZ部署和跨区域复制等功能，适用于大数据、AI、容器平台等场景。要部署AutoMQ集群，需先准备CubeFS集群，启用对象网关，创建用户并配置S3接口，然后创建Bucket。接着，下载AutoMQ二进制包，使用S3 URL生成器配置并启动集群，确保所有主机在同一网络并配置正确端口。启动时，先启动控制器，再启动Broker节点。注意，部署在私有数据中心时，需考虑SSD的可靠性，可能需要RAID配置。
-
发表了文章 2024-06-06
Kafka 如何基于 KRaft 实现集群最终一致性协调
Kafka 3.3.1 引入了 KRaft 元数据管理组件，替代 Zookeeper，以简化集群一致性维护，支持更大规模集群并减轻运维复杂性。在 Zookeeper 模式下，需同时运维 ZK 和 Broker，而 KRaft 模式仅需 3 个节点即可构成最小生产集群，且通信协调基于 Raft 协议，增强了一致性。KRaft 模式中，Controller 使用单线程处理请求，通过 KRaft 保持内存状态与多节点一致性。此外，Broker 根据 KRaft 记录更新元数据，实现声明式管理，提高集群协调效率。KRaft 的引入是集群协调机制的演进，采用事件驱动模型实现元数据的一致性。
-
发表了文章 2024-05-27
AutoMQ 云上十倍成本节约的奥秘： SPOT 实例
AutoMQ Kafka 优化设计，充分利用云基础设施，尤其是成本低廉的Spot实例，实现公有云成本节约。尽管Spot实例的不确定性可能导致服务中断，AutoMQ通过Broker无状态化、快速弹性扩展和Serverless支持，以及应对Spot实例回收的优雅停机和容灾机制，确保了可靠的Kafka服务。混合使用按需实例以保证关键服务稳定，同时在面临Spot实例库存不足时，具备回退到按需实例的能力。AutoMQ Kafka通过创新技术在稳定性与成本之间找到了平衡，为用户提供灵活且经济高效的解决方案。
-
发表了文章 2024-05-24
如何解决 Kafka 冷读副作用
AutoMQ，新一代云原生 Kafka，解决原 Kafka 的迁移复制低效、弹性不足和高成本问题。本文探讨 Kafka 的冷读（追赶读）副作用，如硬盘 I/O 争抢、Page Cache 污染和 Zero Copy 阻塞。Kafka 的冷读依赖本地存储，导致性能瓶颈。AutoMQ 通过对象存储实现冷热隔离，避免 I/O 争抢；自主管理内存，减少 Page Cache 污染；异步 I/O 响应网络层，提高效率。此外，AutoMQ 优化冷读性能，确保批处理和故障恢复时的高效运行。
-
发表了文章 2024-05-24
AutoMQ 产品动态 | 企业版正式上线阿里云、AWS 中国区云市场
AutoMQ在2024年3-4月推出企业版服务，现已上线阿里云和AWS中国区云市场，用户可自助开通。支持按小时和包年包月付费，以及订阅许可证模式，实现跨IDC环境交付。企业版提供同城3AZ容灾集群，确保服务高可用。此外，还推出了Kafka全托管迁移工具和集群自助版本升级功能，保障平滑迁移和无缝升级。详情见参考资料。AutoMQ团队由Apache RocketMQ和Linux LVS核心成员组成，致力于提供成本优化和高效弹性的消息队列服务。
-
发表了文章 2024-05-24
原理剖析| 一文搞懂 Kafka Producer（上）
本文介绍了Apache Kafka 3.7的Producer使用及原理，讲解了如何创建和使用Producer，展示了一个发送消息的示例代码，并介绍了ProducerRecord和Callback接口。ProducerRecord包含topic、partition等属性，Callback用于发送消息后的回调处理。接着阐述了send、flush和close方法的功能。文章还探讨了核心组件，包括ProducerMetadata、RecordAccumulator、Sender和TransactionManager，以及消息发送流程。最后，讨论了元数据刷新、分区选择、消息攒批和超时处理等实现细节。
-
发表了文章 2024-05-06
Kafka Exactly Once 语义实现原理：幂等性与事务消息
Apache Kafka的Exactly-Once语义确保了消息处理的准确性和一致性。通过幂等性和事务消息，Kafka实现了要么全处理要么全不处理的原子性。文章详细解析了Kafka事务的工作流程，包括生产者的幂等性（通过序列号保证），以及事务消息的提交和回滚过程。Kafka事务提供了ACID保证，但存在性能限制，如额外的RPC请求和单生产者只能执行一个事务。此外，事务适用于同集群内的操作，跨集群时原子性无法保证。了解这些原理有助于开发者更好地利用Kafka事务构建可靠的数据处理系统。
-
发表了文章 2024-05-06
Kafka 迁移工具 MirrorMaker2 原理起底
MirrorMaker2 (MM2) 是 Kafka 从 2.4.0 开始提供的数据复制工具，用于集群间的数据同步和备份。MM2 有三种部署模式：dedicated mode、standalone mode 和 Kafka Connect mode。AutoMQ即将推出基于MM2的迁移产品，助力用户平滑迁移到AutoMQ平台。
-
发表了文章 2024-05-09
AutoMQ 如何基于裸设备实现高性能的 WAL
AutoMQ是基于S3 Stream的Apache Kafka云原生解决方案，利用云盘和对象存储实现低延迟、高吞吐、低成本流式存储。Delta WAL是其核心组件，作为持久化写入缓冲区，先在云盘上做高效持久化，再上传至对象存储。Delta WAL采用Direct IO在裸设备上读写，避免Page Cache污染，提高写入性能，加快宕机恢复速度。设计目标包括轮转写入、充分利用云盘性能和快速恢复。其写入和恢复流程涉及WALHeader、RecordHeader和SlidingWindow数据结构。基准测试显示，Delta WAL能充分利用云盘资源，实现高吞吐和低延迟。
-
发表了文章 2024-05-09
Kafka 线程模型痛点攻克： 提升分区写入 2 倍性能
Apache Kafka的单分区写入性能在某些严格保序场景中至关重要，但其现有线程模型限制了性能发挥。本文分析了Kafka的串行处理模型，包括SocketServer、KafkaChannel、RequestChannel等组件，指出其通过KafkaChannel状态机确保请求顺序处理，导致处理效率低下。AutoMQ提出流水线处理模型，简化KafkaChannel状态机，实现网络解析、校验定序和持久化的阶段间并行化，提高处理效率。测试结果显示，AutoMQ的极限吞吐是Kafka的2倍，P99延迟降低至11ms。
-
发表了文章 2024-05-06
一文搞懂 Kafka consumer 与 broker 交互机制与原理
AutoMQ致力于打造下一代云原生Kafka系统，解决Kafka痛点。本文深入解析Kafka Consumer与Broker的交互机制，涉及消费者角色、核心组件及常用接口。消费者以group形式工作，包括leader和follower。交互流程涵盖FindCoordinator、JoinGroup、SyncGroup、拉取消息和退出过程。文章还探讨了broker的consumer group状态管理和rebalance原理。AutoMQ团队分享Kafka技术，感兴趣的话可以关注他们。
-
发表了文章 2024-05-06
小红书黄章衡：AutoMQ Serverless 基石-秒级分区迁移
Apache Kafka的分区迁移通常需要大量数据同步，耗时较长，但在AutoMQ中，由于存算分离架构，迁移时间缩短至秒级。本文深入解析了AutoMQ秒级迁移的原理和源码，包括构建迁移命令、Broker同步变更、元数据持久化、数据上传、选主以及数据恢复等六个步骤。这种高效迁移能力适用于高峰期快速扩容和Serverless按需扩容场景，提升了系统的弹性和运维效率。AutoMQ由Apache RocketMQ和Linux LVS团队创建，旨在提供成本优化和高弹性消息队列服务。
-
发表了文章 2024-03-05
活动报名｜AutoMQ x 阿里云云原生创新论坛（2024.03.09）见证“新一代云原生 Kafka ”重磅发布！
新一年， AutoMQ 首场线下活动重磅来袭！2024年3月9日，由 AutoMQ 与阿里云联合举办的云原生创新论坛将于杭州与大家见面，双方联合重磅发布新一代云原生 Kafka ——AutoMQ On-Prem 版本 ！现场将会分享如何通过云原生和存算分离架构实现 Kafka 产品的10倍成本优化，并保持秒级分区无损迁移。另外，活动现场还有来自得物的技术专家分享 AutoMQ 在生产场景中的应用实践，以及阿里云的资深专家为大家剖析多 AZ 块存储的原理。
暂无更多信息
-
发表了文章
2024-07-29
如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移
-
发表了文章
2024-07-29
AutoMQ 开源可观测性方案：夜莺 Flashcat
-
发表了文章
2024-07-29
活动回顾 | AutoMQ 联合 GreptimeDB 共同探讨新能源汽车数据基础设施
-
发表了文章
2024-07-29
AutoMQ 生态集成 Redpanda Console
-
发表了文章
2024-07-29
Java ZGC 深度剖析及其在构建低延迟流系统中的实践心得
-
发表了文章
2024-07-29
百行代码实现 Kafka 运行在 S3 之上
-
发表了文章
2024-07-29
AutoMQ 社区双周精选第十二期（2024.06.29~2024.07.12）
-
发表了文章
2024-07-29
AutoMQ 中的元数据管理
-
发表了文章
2024-07-29
如何使用观测云监测 AutoMQ 集群状态
-
发表了文章
2024-07-29
AutoMQ vs Kafka: 来自小红书的独立深度评测与对比
-
发表了文章
2024-07-09
Java ZGC 深度剖析及其在构建低延迟流系统中的实践心得
-
发表了文章
2024-07-09
AutoMQ 产品动态 | 发布 1.1.0，兼容至 Apache Kafka 3.7，支持 Kaf
-
发表了文章
2024-07-09
基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境
-
发表了文章
2024-07-09
AutoMQ vs Kafka: 来自小红书的独立深度评测与对比
-
发表了文章
2024-06-17
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
-
发表了文章
2024-06-17
AutoMQ 社区双周精选第十一期（2024.05.27~2024.06.12）
-
发表了文章
2024-06-17
AutoMQ 生态集成 CubeFS
-
发表了文章
2024-06-06
「布道师系列文章」众安保险王凯解析 Kafka 网络通信
-
发表了文章
2024-06-06
Kafka 如何基于 KRaft 实现集群最终一致性协调
-
发表了文章
2024-06-06
AutoMQ 自动化持续测试平台技术内幕
滑动查看更多
暂无更多信息
暂无更多信息