面试官:你说说Kafka是怎么保证消息可靠性的

简介: 面试官:那要是Kafka消费堆积了怎么办。每个topic是分为多个分区给不同Broker处理,要合理分配分区数量来提高Broker的消息处理能力。比如3个Broker2个分区,可以改为3个Broker3个分区

在这里插入图片描述

面试官:听说你精通Kafka,那我就考考你吧


面试官:不用慌尽管说,错了也没关系😊。。。


以【面试官面试】的形式来分享技术,本期是《Kafka系列》,感兴趣就关注我吧❤️

面试官:知道Kafka高水位吗

当前高水位就是复制偏移量嘛,记录了当前已提交消息的最大偏移量

是这样的,Kafka的消息只有在所有分区副本都同步该消息后,才算是已提交的消息。

分区副本会根据首领分区副本提供的高水位,来避免未提交的消息被消费。
在这里插入图片描述


面试官思考中…


面试官:你说说Kafka是怎么保证消息可靠性的

嗯嗯好的。

在Broker方面,主要使用了分区多副本架构,来保证消息不丢失。

Kafka集群的每一个分区的首领副本,都会有n(复制系数)个broker机器去复制后,生成跟随者副本

同时如果首领副本的机器挂了,跟随者副本会选举成为新的首领副本

分区有多个备份是消息保存的一个可靠性保障。


面试官思考中…


面试官:还有吗,比如生产者消费者呢

噢噢还有的,还有在生产者、消费者方面的可靠性。

一、在生产者方面

  1. 提供了ack = all这种发送确认机制。也就是只有在消息成功写入所有副本后,才算该消息已提交,保证了消息的多备份。
  2. ack = all失败的话,生产者可以继续重试发送消息。

二、在消费者方面

  1. 消费者消费时,会根据偏移量进行消费,保证了消息的顺序性
  2. 消费后会同步提交、异步提交偏移量,保证了消息不被重复消费


面试官思考中…


面试官:那要是Kafka消费堆积了怎么办

这样的话,要从Broker和消费者两方面来看。

一、Broker的话

  1. 每个topic是分为多个分区给不同Broker处理,要合理分配分区数量来提高Broker的消息处理能力。比如3个Broker2个分区,可以改为3个Broker3个分区
  2. 也可以横向扩展Broker集群

二、消费者的话

  1. 可以增加消费者服务数量
  2. 提交偏移量时,可以把同步提交改为异步提交,来减少同步等待Broker的时间


面试官思考中…


面试官:emmmm,你知道Kafka控制器吧

嗯嗯知道的。控制器其实也是一个broker,不过它还负责选举分区首领

也就是在首领副本所在的分区失效后,通过控制器来在分区副本里选举出新的首领副本

面试官抓抓脑袋,继续看你的简历......


得想想考点你不懂的😰

未完待续。。。。。。

好了,今天的分享就先到这,我们下期【Kafka系列】继续。

创作不易,不妨点赞、收藏、关注支持一下,各位的支持就是我创作的最大动力❤️

相关文章
|
7天前
|
消息中间件 存储 监控
Kafka 面试题及答案整理,最新面试题
Kafka 面试题及答案整理,最新面试题
165 3
|
7天前
|
消息中间件 分布式计算 监控
Python面试:消息队列(RabbitMQ、Kafka)基础知识与应用
【4月更文挑战第18天】本文探讨了Python面试中RabbitMQ与Kafka的常见问题和易错点,包括两者的基础概念、特性对比、Python客户端使用、消息队列应用场景及消息可靠性保证。重点讲解了消息丢失与重复的避免策略,并提供了实战代码示例,帮助读者提升在分布式系统中使用消息队列的能力。
42 2
|
7天前
|
消息中间件 监控 大数据
Kafka消息队列架构与应用场景探讨:面试经验与必备知识点解析
【4月更文挑战第9天】本文详尽探讨了Kafka的消息队列架构,包括Broker、Producer、Consumer、Topic和Partition等核心概念,以及消息生产和消费流程。此外,还介绍了Kafka在微服务、实时数据处理、数据管道和数据仓库等场景的应用。针对面试,文章解析了Kafka与传统消息队列的区别、实际项目挑战及解决方案,并展望了Kafka的未来发展趋势。附带Java Producer和Consumer的代码示例,帮助读者巩固技术理解,为面试做好准备。
31 0
|
5天前
|
消息中间件 关系型数据库 MySQL
MySQL 到 Kafka 实时数据同步实操分享(1),字节面试官职级
MySQL 到 Kafka 实时数据同步实操分享(1),字节面试官职级
|
6天前
|
消息中间件 Java Kafka
Java大文件排序(有手就能学会),kafka面试题2024
Java大文件排序(有手就能学会),kafka面试题2024
|
6天前
|
消息中间件 前端开发 Java
java面试刷题软件kafka和mq的区别面试
java面试刷题软件kafka和mq的区别面试
|
7天前
|
消息中间件 Kafka API
这些年背过的面试题——Kafka篇
本文是技术人面试系列Kafka篇,面试中关于Kafka都需要了解哪些基础?一文带你详细了解,欢迎收藏!
|
7天前
|
消息中间件 网络协议 Dubbo
Kafka常见面试题
Kafka常见面试题
32 2
|
7天前
|
消息中间件 存储 监控
深入剖析:Kafka流数据处理引擎的核心面试问题解析75问(5.7万字参考答案)
Kafka 是一款开源的分布式流处理平台,被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究 Kafka 的基本原理、特点以及其在实际应用中的价值和作用。 Kafka 的基本原理是建立在发布-订阅模式之上的。生产者将消息发布到主题(Topic)中,而消费者则可以订阅这些主题并处理其中的消息。Kafka包括多个关键组件,如生产者、消费者、主题分区、ZooKeeper 等,Kafka 实现了高性能的消息传递和存储。特点:高吞吐量、可持久化存储、水平扩展、容错性和实时性等。
119 0
|
7天前
|
消息中间件 存储 算法
深入了解Kafka的数据持久化机制
深入了解Kafka的数据持久化机制
48 0