Kafka

首页 标签 Kafka
# Kafka #
关注
10027内容
如何同时使用多个Logstash进行不同的日志传输
项目需新增Logstash处理Spring Boot日志,但与现有实例共用默认data目录导致启动失败。错误提示“another instance using the configured data directory”。解决方法:为新实例指定独立data路径,支持命令行`--path.data`、配置文件或环境变量三种方式,确保目录存在且有写权限。
|
10天前
|
【Kafka核心】Kafka 3.0+ KRaft模式(替代ZooKeeper)核心原理与优势
本文系统解析Kafka 3.0+ KRaft模式全知识体系,涵盖背景演进、核心架构、Raft原理、元数据管理、部署运维、最佳实践等九大维度,深度对比ZK模式,详解Controller/Broker角色分离、__cluster_metadata日志机制与毫秒级故障恢复优势,助你掌握Kafka下一代原生元数据管理核心技术。
|
10天前
|
【Kafka核心】Kafka高性能的四大核心支柱:零拷贝、批量发送、页缓存、压缩
本文系统解析Kafka高性能四大支柱:页缓存(规避JVM GC,实现内存级读写)、零拷贝(sendfile/mmap减少CPU拷贝与上下文切换)、批量发送(全链路聚合降低IO次数)及端到端压缩(批次级LZ4/ZSTD降带宽)。四者深度协同,构建高吞吐、低延迟、低成本的完整优化体系。
|
10天前
|
【Kafka核心】三大核心模块:消费者组、重平衡Rebalance、offset提交
本文系统梳理Kafka消费端三大核心:消费者组(架构载体与扩展基础)、重平衡(动态调度与容灾机制)、offset提交(进度持久化与语义保障),深入解析其原理、流程、强耦合关系及生产级优化方案,覆盖从入门到落地的全链路实践。
|
10天前
|
【Kafka核心】消息投递语义、Exactly-Once实现、幂等性、事务消息
本文系统梳理Kafka消息一致性核心体系:以「不丢不重」为目标,详解At-Most-Once、At-Least-Once、Exactly-Once三类投递语义;深入剖析幂等性(单会话单分区去重)与事务机制(跨分区/跨会话原子性)的原理与配置;最终整合生产者、Broker、消费者三方协同,实现端到端Exactly-Once。附最佳实践与避坑指南。
|
10天前
|
【Kafka核心】分区副本、ISR机制、消息存储机制、segment文件、稀疏索引、顺序写
本资料系统梳理Kafka核心机制,涵盖分区副本、ISR同步、Segment分段、稀疏索引、顺序写与PageCache等六大支柱,深入解析LEO/HW、Leader Epoch、零拷贝等关键原理,揭示高吞吐、低延迟、高可用与强一致性的底层实现逻辑,兼具理论深度与生产实践指导价值。
|
10天前
|
【Kafka核心】架构模型:Producer、Broker、Consumer、Consumer Group、Topic、Partition、Replica
本文系统解析Kafka 3.x+核心架构,涵盖Producer、Broker、Consumer、Group、Topic、Partition、Replica七大实体,深入KRaft新架构、ISR机制、零拷贝、幂等性、Exactly-Once等关键技术,构建从设计哲学到落地实践的完整知识闭环。
|
11天前
|
【消息队列MQ】消息顺序性:保证方案、适用场景
本文系统解析MQ消息顺序性,涵盖定义、乱序根因、全链路保障方案、适用场景、性能权衡、主流产品对比、典型坑点及最佳实践8大维度。聚焦局部/全局顺序本质差异,强调“发送→存储→消费”全链路一致,并指出90%故障源于消费端乱序。兼顾理论深度与落地可行性,助力高效、可靠选型与实施。
|
11天前
|
【消息队列MQ】消息丢失:全链路原因、解决方案、消息可靠性保证
消息队列MQ全链路防丢失体系:覆盖生产→Broker→消费三阶段,直击6大关键节点风险;涵盖确认机制、同步刷盘、主从复制、手动提交Offset、事务消息、死信兜底等核心方案,兼顾可靠性与性能折中。
互联网医院系统开发实战:在线问诊平台的APP与小程序搭建方案
本文从开发视角,讲解互联网医院系统的整体架构、核心业务链路与模块划分。阐述问诊、处方、药品流程的技术实现,介绍分层架构设计,并点明状态同步、数据安全、高并发等核心技术要点。
免费试用