kafka-消息一致性--连通器原理

简介: kafka通过多副本架构来保证数据的稳定性,这就必然会产生数据同步滞后的问题,因此保证数据一致性是一个关键因素。kafka通过连通器原理(注:连通器原理并非官方用词,是作者本人阅读时觉得和物理学的连通器原理比较相似,所以自行命名为连通器原理)的模式来保证数据的一致性。

kafka通过多副本架构来保证数据的稳定性,这就必然会产生数据同步滞后的问题,因此保证数据一致性是一个关键因素。kafka通过连通器原理(注:连通器原理并非官方用词,是作者本人阅读时觉得和物理学的连通器原理比较相似,所以自行命名为连通器原理)的模式来保证数据的一致性。

连通器原理图.png

  • 副本:即存储在broker中的消息数据。包括leader副本和flower副本,其中leader副本只有一份,flower副本有n份
  • AR:分区中所有的副本统称为AR(Assigned Replicas)。 AR = ISR+OSR
  • ISR:所有与leader副本保持一致的副本称为ISR(In Sync Replicas)。ISR与AR保持一致只是相对的,所有副本与leader副本必然存在滞后,我们将可接受的滞后范围当作完全一致。(滞后时长可以通过参数配置)
  • OSR:所有与leader副本存在滞后的副本,称之为OSR(Out of Sync Replicas)
  • HW:高水位,消费者可以拉取的最新的消息。标识了所有副本均已完成同步的最小消息位
  • LEO:当前副本存储的消息位。每个副本都唯一一个自己的LEO,所有副本集中LEO最小的即为HW。
目录
相关文章
|
1月前
|
消息中间件 缓存 Kafka
探究Kafka原理-5.Kafka设计原理和生产者原理解析(下)
探究Kafka原理-5.Kafka设计原理和生产者原理解析
54 0
|
1月前
|
消息中间件 存储 负载均衡
探究Kafka原理-5.Kafka设计原理和生产者原理解析(上)
探究Kafka原理-5.Kafka设计原理和生产者原理解析
76 0
|
1月前
|
消息中间件 存储 负载均衡
kafka核心原理,藏在这 16 张图里
kafka核心原理,藏在这 16 张图里
31 0
|
1月前
|
消息中间件 存储 负载均衡
kafka底层原理分析
kafka底层原理分析
45 2
|
1月前
|
消息中间件 存储 设计模式
Kafka原理篇:图解kakfa架构原理
Kafka原理篇:图解kakfa架构原理
187 1
|
1月前
|
消息中间件 存储 负载均衡
Kafka 迁移工具 MirrorMaker2 原理起底
MirrorMaker2 (MM2) 是 Kafka 从 2.4.0 开始提供的数据复制工具,用于集群间的数据同步和备份。MM2 有三种部署模式:dedicated mode、standalone mode 和 Kafka Connect mode。AutoMQ即将推出基于MM2的迁移产品,助力用户平滑迁移到AutoMQ平台。
66 2
Kafka 迁移工具 MirrorMaker2 原理起底
|
1月前
|
消息中间件 Cloud Native Kafka
一文搞懂 Kafka consumer 与 broker 交互机制与原理
AutoMQ致力于打造下一代云原生Kafka系统,解决Kafka痛点。本文深入解析Kafka Consumer与Broker的交互机制,涉及消费者角色、核心组件及常用接口。消费者以group形式工作,包括leader和follower。交互流程涵盖FindCoordinator、JoinGroup、SyncGroup、拉取消息和退出过程。文章还探讨了broker的consumer group状态管理和rebalance原理。AutoMQ团队分享Kafka技术,感兴趣的话可以关注他们。
59 2
一文搞懂 Kafka consumer 与 broker 交互机制与原理
|
1月前
|
消息中间件 缓存 Kafka
原理剖析| 一文搞懂 Kafka Producer(上)
本文介绍了Apache Kafka 3.7的Producer使用及原理,讲解了如何创建和使用Producer,展示了一个发送消息的示例代码,并介绍了ProducerRecord和Callback接口。ProducerRecord包含topic、partition等属性,Callback用于发送消息后的回调处理。接着阐述了send、flush和close方法的功能。文章还探讨了核心组件,包括ProducerMetadata、RecordAccumulator、Sender和TransactionManager,以及消息发送流程。最后,讨论了元数据刷新、分区选择、消息攒批和超时处理等实现细节。
34 0
原理剖析| 一文搞懂 Kafka Producer(上)
|
1月前
|
消息中间件 存储 传感器
Kafka消息队列原理及应用详解
【5月更文挑战第6天】Apache Kafka是高性能的分布式消息队列,常用于实时数据管道和流应用。它提供高性能、持久化、分布式和可伸缩的消息处理,支持解耦、异步通信和流量控制。Kafka的核心概念包括Broker、Topic、Partition、Producer、Consumer和Consumer Group。其特点是高吞吐、低延迟、数据持久化、分布式架构和容错性。常见应用包括实时数据流处理、日志收集、消息传递和系统间数据交换。
|
1月前
|
消息中间件 存储 Kafka
【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
69 1

热门文章

最新文章