Kafka

首页 标签 Kafka
# Kafka #
关注
10032内容
线上Kafka积压后,我是怎么处理的
本文记录一次Kafka消费组Lag飙升20万+的实战排障全过程:从快速定位积压分区、紧急扩容消费者、优化消费参数,到发现Redis大key根因、临时降级、事后加固监控与自动化响应。强调“可观测性+自动化”是应对消息积压的关键。
|
11天前
| |
来自: 物联网
6-MQ篇-3
Kafka是高性能分布式消息系统,项目中广泛用于异步通信,如内容审核、验证码发送、行为采集等。其高吞吐、解耦、削峰优势显著,但需通过合理分区(如Key哈希)、手动提交Offset、acks=all等机制保障不丢失、不重复、顺序消费。
|
11天前
| |
来自: 物联网
6-MQ篇-4
Kafka高可用靠集群、分区副本与消费者重平衡;高性能源于顺序读写、零拷贝、页缓存等5大设计;数据清理支持按时间(默认7天)或大小(默认1GB)策略;点对点与发布订阅则通过消费者组机制灵活实现。(239字)
|
16天前
| |
来自: 数据库
CDC实时数据同步:让数据库变更秒级流向大数据平台!
本文由“数据库小学妹”生动讲解CDC(变更数据捕获)核心原理与实战:基于MySQL binlog实时捕获INSERT/UPDATE/DELETE事件,通过Debezium解析为含before/after的结构化消息,推送至Kafka,实现缓存、ES、Flink等系统的零侵入、秒级同步。兼顾原理、避坑与场景,让数据流通真正实时可靠。
如何同时使用多个Logstash进行不同的日志传输
项目需新增Logstash处理Spring Boot日志,但与现有实例共用默认data目录导致启动失败。错误提示“another instance using the configured data directory”。解决方法:为新实例指定独立data路径,支持命令行`--path.data`、配置文件或环境变量三种方式,确保目录存在且有写权限。
|
30天前
|
【Kafka核心】Kafka 3.0+ KRaft模式(替代ZooKeeper)核心原理与优势
本文系统解析Kafka 3.0+ KRaft模式全知识体系,涵盖背景演进、核心架构、Raft原理、元数据管理、部署运维、最佳实践等九大维度,深度对比ZK模式,详解Controller/Broker角色分离、__cluster_metadata日志机制与毫秒级故障恢复优势,助你掌握Kafka下一代原生元数据管理核心技术。
|
30天前
|
【Kafka核心】Kafka高性能的四大核心支柱:零拷贝、批量发送、页缓存、压缩
本文系统解析Kafka高性能四大支柱:页缓存(规避JVM GC,实现内存级读写)、零拷贝(sendfile/mmap减少CPU拷贝与上下文切换)、批量发送(全链路聚合降低IO次数)及端到端压缩(批次级LZ4/ZSTD降带宽)。四者深度协同,构建高吞吐、低延迟、低成本的完整优化体系。
|
30天前
|
【Kafka核心】三大核心模块:消费者组、重平衡Rebalance、offset提交
本文系统梳理Kafka消费端三大核心:消费者组(架构载体与扩展基础)、重平衡(动态调度与容灾机制)、offset提交(进度持久化与语义保障),深入解析其原理、流程、强耦合关系及生产级优化方案,覆盖从入门到落地的全链路实践。
|
30天前
|
【Kafka核心】消息投递语义、Exactly-Once实现、幂等性、事务消息
本文系统梳理Kafka消息一致性核心体系:以「不丢不重」为目标,详解At-Most-Once、At-Least-Once、Exactly-Once三类投递语义;深入剖析幂等性(单会话单分区去重)与事务机制(跨分区/跨会话原子性)的原理与配置;最终整合生产者、Broker、消费者三方协同,实现端到端Exactly-Once。附最佳实践与避坑指南。
|
30天前
|
【Kafka核心】分区副本、ISR机制、消息存储机制、segment文件、稀疏索引、顺序写
本资料系统梳理Kafka核心机制,涵盖分区副本、ISR同步、Segment分段、稀疏索引、顺序写与PageCache等六大支柱,深入解析LEO/HW、Leader Epoch、零拷贝等关键原理,揭示高吞吐、低延迟、高可用与强一致性的底层实现逻辑,兼具理论深度与生产实践指导价值。
免费试用