面试官:你说说Kafka是怎么保证消息可靠性的

简介: 面试官:那要是Kafka消费堆积了怎么办。每个topic是分为多个分区给不同Broker处理,要合理分配分区数量来提高Broker的消息处理能力。比如3个Broker2个分区,可以改为3个Broker3个分区

在这里插入图片描述

面试官:听说你精通Kafka,那我就考考你吧


面试官:不用慌尽管说,错了也没关系😊。。。


以【面试官面试】的形式来分享技术,本期是《Kafka系列》,感兴趣就关注我吧❤️

面试官:知道Kafka高水位吗

当前高水位就是复制偏移量嘛,记录了当前已提交消息的最大偏移量

是这样的,Kafka的消息只有在所有分区副本都同步该消息后,才算是已提交的消息。

分区副本会根据首领分区副本提供的高水位,来避免未提交的消息被消费。
在这里插入图片描述


面试官思考中…


面试官:你说说Kafka是怎么保证消息可靠性的

嗯嗯好的。

在Broker方面,主要使用了分区多副本架构,来保证消息不丢失。

Kafka集群的每一个分区的首领副本,都会有n(复制系数)个broker机器去复制后,生成跟随者副本

同时如果首领副本的机器挂了,跟随者副本会选举成为新的首领副本

分区有多个备份是消息保存的一个可靠性保障。


面试官思考中…


面试官:还有吗,比如生产者消费者呢

噢噢还有的,还有在生产者、消费者方面的可靠性。

一、在生产者方面

  1. 提供了ack = all这种发送确认机制。也就是只有在消息成功写入所有副本后,才算该消息已提交,保证了消息的多备份。
  2. ack = all失败的话,生产者可以继续重试发送消息。

二、在消费者方面

  1. 消费者消费时,会根据偏移量进行消费,保证了消息的顺序性
  2. 消费后会同步提交、异步提交偏移量,保证了消息不被重复消费


面试官思考中…


面试官:那要是Kafka消费堆积了怎么办

这样的话,要从Broker和消费者两方面来看。

一、Broker的话

  1. 每个topic是分为多个分区给不同Broker处理,要合理分配分区数量来提高Broker的消息处理能力。比如3个Broker2个分区,可以改为3个Broker3个分区
  2. 也可以横向扩展Broker集群

二、消费者的话

  1. 可以增加消费者服务数量
  2. 提交偏移量时,可以把同步提交改为异步提交,来减少同步等待Broker的时间


面试官思考中…


面试官:emmmm,你知道Kafka控制器吧

嗯嗯知道的。控制器其实也是一个broker,不过它还负责选举分区首领

也就是在首领副本所在的分区失效后,通过控制器来在分区副本里选举出新的首领副本

面试官抓抓脑袋,继续看你的简历......


得想想考点你不懂的😰

未完待续。。。。。。

好了,今天的分享就先到这,我们下期【Kafka系列】继续。

创作不易,不妨点赞、收藏、关注支持一下,各位的支持就是我创作的最大动力❤️

相关文章
|
2月前
|
消息中间件 存储 监控
Kafka 面试题及答案整理,最新面试题
Kafka 面试题及答案整理,最新面试题
142 3
|
2月前
|
消息中间件 负载均衡 Kafka
【Kafka面试演练】那Kafka消费者手动提交、自动提交有什么区别?
嗯嗯Ok。分区的作用主要就是为了提高Kafka处理消息吞吐量。每一个topic会被分为多个分区。假如同一个topic下有n个分区、n个消费者,这样的话每个分区就会发送消息给对应的一个消费者,这样n个消费者负载均衡地处理消息。同时生产者会发送消息给不同分区,每个分区分给不同的brocker处理,让集群平坦压力,这样大大提高了Kafka的吞吐量。面试官思考中…
70 4
|
4月前
|
消息中间件 存储 Kafka
程序员的27大Kafka面试问题及答案
程序员的27大Kafka面试问题及答案
|
5月前
|
消息中间件 分布式计算 Kafka
亿万级别Kafka演进之路:可靠性+事务+消息中间件+源码+日志
Kafka起初是由LinkedIn公司采用Scala语言开发的-一个多分区、多副本且基于ZooKeeper协调的分布式消息系统,现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。
|
9天前
|
消息中间件 分布式计算 监控
Python面试:消息队列(RabbitMQ、Kafka)基础知识与应用
【4月更文挑战第18天】本文探讨了Python面试中RabbitMQ与Kafka的常见问题和易错点,包括两者的基础概念、特性对比、Python客户端使用、消息队列应用场景及消息可靠性保证。重点讲解了消息丢失与重复的避免策略,并提供了实战代码示例,帮助读者提升在分布式系统中使用消息队列的能力。
31 2
|
2月前
|
消息中间件 算法 Java
面试官:Kafka和ES选主有什么区别?
Kafka 和 ES,作为大数据处理的中间件,分别用于流处理和全文检索。它们的选主(Kafka 的 Controller 和 ES 的 Master)都基于 Raft 算法实现一致性。Raft 算法通过选举确保分布式系统数据一致性,涉及领导者、追随者和候选人间的身份转换。当超过一半的节点投票给同一候选节点时,该节点成为新领导者。Kafka 和 ES 在此基础上可能有各自优化调整。更多关于 Raft 算法的详细流程和选举规则见原文。
44 2
|
3月前
|
消息中间件 存储 监控
美团面试:Kafka如何处理百万级消息队列?
美团面试:Kafka如何处理百万级消息队列?
135 1
|
5月前
|
消息中间件 缓存 算法
美团面试官让我聊聊kafka的副本同步机制,我忍不住哭了
美团面试官让我聊聊kafka的副本同步机制,我忍不住哭了
|
3月前
|
消息中间件 安全 Kafka
2024年了,如何更好的搭建Kafka集群?
我们基于Kraft模式和Docker Compose同时采用最新版Kafka v3.6.1来搭建集群。
458 2
2024年了,如何更好的搭建Kafka集群?
|
4月前
|
消息中间件 存储 数据可视化
kafka高可用集群搭建
kafka高可用集群搭建
46 0