消息队列 MQ 性能大揭秘
本文对比了RabbitMQ、RocketMQ、Kafka和Pulsar四款消息队列的性能。RabbitMQ的吞吐量为万级，延迟在低吞吐量时可低至微秒级；高吞吐量下延迟显著上升。RocketMQ官方宣称支持万亿级吞吐量，实际测试中可达百万级TPS，延迟为毫秒级。Kafka和Pulsar的吞吐量均为百万级，Kafka延迟低至2ms，Pulsar延迟约10ms。总体来看，Kafka在高吞吐量下表现最优，而RabbitMQ适合对速度与可靠性要求高的低吞吐量场景。
Kafka 如何避免重复消费？
在Apache Kafka中，避免消息的重复消费是确保数据准确处理的关键。本文详细介绍了七种避免重复消费的方法：使用消费者组、幂等生产者、事务性生产者与消费者、手动提交偏移量、外部存储管理偏移量、去重逻辑及幂等消息处理逻辑。每种方法均有其优缺点，可根据实际需求选择合适方案。结合消费者组、手动提交偏移量和幂等处理逻辑通常是有效策略，而对于高一致性要求，则可考虑使用事务性消息。
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程，实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程，涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构，包括三台Kafka Broker节点，并说明了分布式环境下的服务进程配置。接着，通过VMware导入模板机并克隆出三台虚拟机（kafka-broker1、kafka-broker2、kafka-broker3），分别设置IP地址和主机名。随后，依次安装JDK、ZooKeeper和Kafka，并配置相应的环境变量与启动脚本，确保各组件能正常运行。最后，通过编写启停脚本简化集群的操作流程，并对集群进行测试，验证其功能完整性。整个过程强调了自动化脚本的应用，提高了部署效率。
Flink读取Kafka报Error sending fetch request
实时计算Flink读取消息队列Kafka，flink日志中出现Error sending fetch request (sessionId=1510763375, epoch=12890978) to node 103: {}.
org.apache.flink.kafka.shaded.org.apache.kafka.common.errors.DisconnectException: null