线上Kafka积压后,我是怎么处理的
本文记录一次Kafka消费组Lag飙升20万+的实战排障全过程:从快速定位积压分区、紧急扩容消费者、优化消费参数,到发现Redis大key根因、临时降级、事后加固监控与自动化响应。强调“可观测性+自动化”是应对消息积压的关键。
6-MQ篇-3
Kafka是高性能分布式消息系统,项目中广泛用于异步通信,如内容审核、验证码发送、行为采集等。其高吞吐、解耦、削峰优势显著,但需通过合理分区(如Key哈希)、手动提交Offset、acks=all等机制保障不丢失、不重复、顺序消费。
6-MQ篇-4
Kafka高可用靠集群、分区副本与消费者重平衡;高性能源于顺序读写、零拷贝、页缓存等5大设计;数据清理支持按时间(默认7天)或大小(默认1GB)策略;点对点与发布订阅则通过消费者组机制灵活实现。(239字)
CDC实时数据同步:让数据库变更秒级流向大数据平台!
本文由“数据库小学妹”生动讲解CDC(变更数据捕获)核心原理与实战:基于MySQL binlog实时捕获INSERT/UPDATE/DELETE事件,通过Debezium解析为含before/after的结构化消息,推送至Kafka,实现缓存、ES、Flink等系统的零侵入、秒级同步。兼顾原理、避坑与场景,让数据流通真正实时可靠。
如何同时使用多个Logstash进行不同的日志传输
项目需新增Logstash处理Spring Boot日志,但与现有实例共用默认data目录导致启动失败。错误提示“another instance using the configured data directory”。解决方法:为新实例指定独立data路径,支持命令行`--path.data`、配置文件或环境变量三种方式,确保目录存在且有写权限。
【Kafka核心】消息投递语义、Exactly-Once实现、幂等性、事务消息
本文系统梳理Kafka消息一致性核心体系:以「不丢不重」为目标,详解At-Most-Once、At-Least-Once、Exactly-Once三类投递语义;深入剖析幂等性(单会话单分区去重)与事务机制(跨分区/跨会话原子性)的原理与配置;最终整合生产者、Broker、消费者三方协同,实现端到端Exactly-Once。附最佳实践与避坑指南。