Kafka常见面试题

简介: Kafka常见面试题

如何防止消息丢失?

发送端:ack设置为-1或副本数,默认副本全部同步才会认为发送成功

接收端:对接收到的数据进行备份,定期进行检查对执行失败的数据重新执行;选择手动提交offset,对执行失败的数据不提交offset。

如何防止消息的重复消费?

在消费者端对数据进行幂等校验,禁止一定时间内出现相同含义的数据;或添加分布式锁。

如何做到顺序消费?

对获取到的数据进行再次排序

如何解决消息积压的问题?

1.添加新的消费者

2.在消费者中添加新的线程

3.验证消息的时效性,丢弃过期数据

如何实现延迟队列?

每隔一段时间消费数据,将当前时间与数据产生时间进行对比,小于延迟时间的不提交,并重新进入等待。

Kafka如何做到单机上百万的高吞吐量呢?

页面缓存技术:将数据缓存到系统的cache中,在刷新到磁盘当中

磁盘顺序写:按顺序写入磁盘

零拷贝技术:在cache中未查到数据,从磁盘获取加载到cache中后,不copy到Kafka进程中,而是由操作系统直接发送到网卡。

目录
相关文章
|
5月前
|
消息中间件 Java Kafka
最经典的一道JAVA面试题:谈谈你对Kafka零拷贝原理的理解
最近一位3年工作经验的小伙伴去某厂面试,被问到这样一个问题,说:”请你简单说一下Kafka的零拷贝原理“。然后,这位小伙伴突然愣住了,什么是零拷贝,零拷贝跟Kafka有关系吗?
116 1
|
3月前
|
消息中间件 存储 负载均衡
Java面试题 -Kafka
Java面试题 -Kafka
45 0
|
2月前
|
消息中间件 存储 NoSQL
[Kafka 常见面试题]如何保证消息的不重复不丢失
[Kafka 常见面试题]如何保证消息的不重复不丢失
|
2月前
|
消息中间件 分布式计算 Java
Kafka常见面试题
Kafka常见面试题
40 5
|
6月前
|
消息中间件 大数据 Kafka
别找了,Kafka视频、书、面试题全给你准备好了~~
别找了,Kafka视频、书、面试题全给你准备好了~~
|
8月前
|
消息中间件 Java Kafka
Java 最常见的面试题:使用 kafka 集群需要注意什么?
Java 最常见的面试题:使用 kafka 集群需要注意什么?
|
8月前
|
消息中间件 NoSQL Kafka
kafka 面试题
kafka 面试题
|
8月前
|
消息中间件 Kafka
kafka 面试题
kafka 面试题
|
8月前
|
消息中间件 安全 Kafka
kafka 面试题
kafka 面试题
|
8月前
|
消息中间件 存储 Kafka
kafka 面试题
kafka 面试题