面试官:你说说Kafka是怎么保证消息可靠性的

简介: 面试官:那要是Kafka消费堆积了怎么办。每个topic是分为多个分区给不同Broker处理,要合理分配分区数量来提高Broker的消息处理能力。比如3个Broker2个分区,可以改为3个Broker3个分区

在这里插入图片描述

面试官:听说你精通Kafka,那我就考考你吧


面试官:不用慌尽管说,错了也没关系😊。。。


以【面试官面试】的形式来分享技术,本期是《Kafka系列》,感兴趣就关注我吧❤️

面试官:知道Kafka高水位吗

当前高水位就是复制偏移量嘛,记录了当前已提交消息的最大偏移量

是这样的,Kafka的消息只有在所有分区副本都同步该消息后,才算是已提交的消息。

分区副本会根据首领分区副本提供的高水位,来避免未提交的消息被消费。
在这里插入图片描述


面试官思考中…


面试官:你说说Kafka是怎么保证消息可靠性的

嗯嗯好的。

在Broker方面,主要使用了分区多副本架构,来保证消息不丢失。

Kafka集群的每一个分区的首领副本,都会有n(复制系数)个broker机器去复制后,生成跟随者副本

同时如果首领副本的机器挂了,跟随者副本会选举成为新的首领副本

分区有多个备份是消息保存的一个可靠性保障。


面试官思考中…


面试官:还有吗,比如生产者消费者呢

噢噢还有的,还有在生产者、消费者方面的可靠性。

一、在生产者方面

  1. 提供了ack = all这种发送确认机制。也就是只有在消息成功写入所有副本后,才算该消息已提交,保证了消息的多备份。
  2. ack = all失败的话,生产者可以继续重试发送消息。

二、在消费者方面

  1. 消费者消费时,会根据偏移量进行消费,保证了消息的顺序性
  2. 消费后会同步提交、异步提交偏移量,保证了消息不被重复消费


面试官思考中…


面试官:那要是Kafka消费堆积了怎么办

这样的话,要从Broker和消费者两方面来看。

一、Broker的话

  1. 每个topic是分为多个分区给不同Broker处理,要合理分配分区数量来提高Broker的消息处理能力。比如3个Broker2个分区,可以改为3个Broker3个分区
  2. 也可以横向扩展Broker集群

二、消费者的话

  1. 可以增加消费者服务数量
  2. 提交偏移量时,可以把同步提交改为异步提交,来减少同步等待Broker的时间


面试官思考中…


面试官:emmmm,你知道Kafka控制器吧

嗯嗯知道的。控制器其实也是一个broker,不过它还负责选举分区首领

也就是在首领副本所在的分区失效后,通过控制器来在分区副本里选举出新的首领副本

面试官抓抓脑袋,继续看你的简历......


得想想考点你不懂的😰

未完待续。。。。。。

好了,今天的分享就先到这,我们下期【Kafka系列】继续。

创作不易,不妨点赞、收藏、关注支持一下,各位的支持就是我创作的最大动力❤️

相关文章
|
3月前
|
消息中间件 存储 负载均衡
Kafka面试题及答案
Kafka面试题及答案
|
2天前
|
网络协议 算法 网络性能优化
计算机网络常见面试题(一):TCP/IP五层模型、TCP三次握手、四次挥手,TCP传输可靠性保障、ARQ协议
计算机网络常见面试题(一):TCP/IP五层模型、应用层常见的协议、TCP与UDP的区别,TCP三次握手、四次挥手,TCP传输可靠性保障、ARQ协议、ARP协议
|
18天前
|
消息中间件 存储 缓存
美团面试: Kafka为啥能实现 10Wtps 到100Wtps ?kafka 如何实现零复制 Zero-copy?
40岁老架构师尼恩分享了Kafka如何实现高性能的秘诀,包括零拷贝技术和顺序写。Kafka采用mmap和sendfile两种零拷贝技术,前者用于读写索引文件,后者用于向消费者发送消息,减少数据在用户空间和内核空间间的拷贝次数,提高数据传输效率。此外,Kafka通过顺序写日志文件,避免了磁盘寻道和旋转延迟,进一步提升了写入性能。尼恩还提供了系列技术文章和PDF资料,帮助读者深入理解这些技术,提升面试竞争力。
美团面试: Kafka为啥能实现 10Wtps 到100Wtps ?kafka 如何实现零复制 Zero-copy?
|
25天前
|
消息中间件 SQL 分布式计算
大数据-74 Kafka 高级特性 稳定性 - 控制器、可靠性 副本复制、失效副本、副本滞后 多图一篇详解
大数据-74 Kafka 高级特性 稳定性 - 控制器、可靠性 副本复制、失效副本、副本滞后 多图一篇详解
20 2
|
23天前
|
消息中间件 存储 Kafka
面试题:Kafka如何保证高可用?有图有真相
面试题:Kafka如何保证高可用?有图有真相
|
3月前
|
消息中间件 算法 Java
面试官:Kafka中的key有什么用?
面试官:Kafka中的key有什么用?
119 3
面试官:Kafka中的key有什么用?
|
4月前
|
消息中间件 算法 Kafka
面试题Kafka问题之Kafka的副本消息同步如何解决
面试题Kafka问题之Kafka的副本消息同步如何解决
71 4
|
4月前
|
消息中间件 存储 缓存
面试题Kafka问题之Kafka的生产消费基本流程如何解决
面试题Kafka问题之Kafka的生产消费基本流程如何解决
42 1
|
4月前
|
消息中间件 Kafka
面试题Kafka问题之Kafka【线上】积压消费如何解决
面试题Kafka问题之Kafka【线上】积压消费如何解决
33 0
|
4月前
|
消息中间件 算法 NoSQL
面试题Kafka问题之Kafka保证系统的可用性如何解决
面试题Kafka问题之Kafka保证系统的可用性如何解决
41 0