2024最全Kafka集群方案汇总
Apache Kafka 是一个高吞吐量、可扩展、可靠的分布式消息系统，广泛应用于数据驱动的应用场景。Kafka 支持集群架构，具备高可用性和容错性。其核心组件包括 Broker（服务器实例）、Topic（消息分类）、Partition（有序消息序列）、Producer（消息发布者）和 Consumer（消息消费者）。每个分区有 Leader 和 Follower，确保数据冗余和高可用。Kafka 2.8+ 引入了不依赖 Zookeeper 的 KRaft 协议，进一步简化了集群管理。常见的集群部署方案包括单节点和多节点集群，后者适用于生产环境以确保高可用性。
消息队列 MQ 性能大揭秘
本文对比了RabbitMQ、RocketMQ、Kafka和Pulsar四款消息队列的性能。RabbitMQ的吞吐量为万级，延迟在低吞吐量时可低至微秒级；高吞吐量下延迟显著上升。RocketMQ官方宣称支持万亿级吞吐量，实际测试中可达百万级TPS，延迟为毫秒级。Kafka和Pulsar的吞吐量均为百万级，Kafka延迟低至2ms，Pulsar延迟约10ms。总体来看，Kafka在高吞吐量下表现最优，而RabbitMQ适合对速度与可靠性要求高的低吞吐量场景。
MQ四兄弟：如何实现延时消息
本文介绍了几种常见的消息队列系统（RabbitMQ、RocketMQ、Kafka和Pulsar）实现延时消息的方式。RabbitMQ通过死信队列或延时插件实现；RocketMQ内置延时消息支持，可通过设置`delayTimeLevel`属性实现；Kafka不直接支持延时消息，但可以通过时间戳、延时Topic、Kafka Streams等方法间接实现；Pulsar自带延时消息功能，提供`deliverAfter`和`deliverAt`两种方式。每种方案各有优劣，适用于不同的应用场景。
被问到MQ消息已丢失，该如何处理？
在分布式系统中，消息中间件（如RabbitMQ、Kafka等）用于解耦生产者和消费者，确保数据传输的可靠性和顺序性。尽管有多种措施防止消息丢失，如消息持久化、手动确认机制和重试机制，但消息丢失仍可能发生。本文探讨了四种常见丢失场景及补救措施：1. 生产者发送消息失败；2. 消息在传输过程中丢失；3. 消息中间件内部丢失；4. 消费者未处理完消息前丢失。针对每种场景，提出了相应的解决方案，如消息重发、本地存储、日志记录、高可用配置、死信队列等，以确保系统的可靠性和稳定性。
流存储Fluss：迈向湖流一体架构
本文整理自阿里云高级开发工程师罗宇侠在Flink Forward Asia 2024上海站的分享，介绍了湖流割裂的现状与挑战，Fluss湖流一体架构的设计与优势，以及未来规划。内容涵盖湖流割裂的现状、Fluss架构详解、湖流一体带来的收益，以及未来的生态扩展和技术优化。
Fluss：面向实时分析设计的下一代流存储
本文整理自阿里云智能 Flink SQL和数据通道负责人、Apache Flink PMC 伍翀（花名：云邪）老师，在 Flink Forward Asia 2024 主会场的分享。主要分享了一种专为流分析设计的新一代存储解决方案——Fluss，并由阿里巴巴开源委员会副主席王峰先生，在 FFA 2024 现场进行了 Fluss 项目的开源。
go高并发之路——消息中间件kafka
本文介绍了高并发业务中的流量高峰应对措施，重点讲解了Kafka消息中间件的使用，包括常用的Go语言库sarama及其版本问题，以及Kafka的版本选择建议。文中还详细解释了Kafka生产者的四种分区策略：轮询、随机、按Key和指定分区，并提供了相应的代码示例。