面试官:Kafka和ES选主有什么区别?

简介: Kafka 和 ES,作为大数据处理的中间件,分别用于流处理和全文检索。它们的选主(Kafka 的 Controller 和 ES 的 Master)都基于 Raft 算法实现一致性。Raft 算法通过选举确保分布式系统数据一致性,涉及领导者、追随者和候选人间的身份转换。当超过一半的节点投票给同一候选节点时,该节点成为新领导者。Kafka 和 ES 在此基础上可能有各自优化调整。更多关于 Raft 算法的详细流程和选举规则见原文。

Kafka 和 ES 都是用来处理大数据的中间件,一个是消息中间件的代表(Kafka),另一个是大数据搜索引擎的代表(ES)。它们在 Java 领域的使用非常广泛,在大数据方面就更不用说了,但它们的选主(选择主节点)有什么关联与区别呢?接下来,我们一起来看。

1.基础概念

1.1 什么是Kafka?

Kafka 是一个分布式流处理平台,由 LinkedIn 公司开发和维护,之后成为 Apache 软件基金会的一部分。它主要是为处理实时数据而设计的,是一个高吞吐量的分布式发布订阅消息系统。

Kafka 集群组成如下:
image.png

说明:每个 Broker 就是一个 Kafka 实例(其中的 Broker 1 为 Controller,也就是主 Broker),一个 Broker 中有多个 Topic,一个 Topic 中有多个分区,分区分为两类:Leader 分区和 Follower 分区。

1.2 什么是ES?

ES 全称 Elasticsearch,是一个开源的高扩展的分布式全文检索引擎。它可以近乎实时地存储、检索数据,并且具有出色的扩展性,可以扩展到上百台服务器,处理 PB 级别的数据。Elasticsearch 使用 Java 开发,并使用 Apache Lucene 作为其核心来实现所有索引和搜索的功能,但它通过简单的 RESTful API 来隐藏 Lucene 的复杂性,使得全文搜索变得简单。

ES 集群组成如下:
image.png

说明:一个 ES 集群中只有一个 Master(主节点)节点,其他的为数据节点(还有其他节点类型,这里忽略),主节点协调整个集群的工作,数据节点中存储了多个分片,每个分片分为两种类型:主分片和副本分片(类似 Kafka 中分区的概念)。

2.Kafka和ES选主

Kafka 选主指的是选 Broker 中的 Controller,而 ES 选主指的是选取集群中的 Master,它们两个的关联是 Kafka 新版本(2.8 之后)和 ES 新版本(7.0 之后),它们的选主策略都是基于 Raft 算法实现的

PS:当然,Kafka 中叫做 KRaft,ES 也是在 Raft 算法的基础上扩充了二阶段选举,但它们基于的底层算法都是 Raft 算法。

3.什么是Raft算法?

Raft 算法是一种分布式一致性算法,主要用于在分布式系统中实现数据副本的一致性。该算法是 Paxos 算法的工程实现,其主要特点是通过较为简单的算法实现分布式系统的数据一致性和高可用。

Raft 算法的核心是通过选举投票,少数人服从多数人的原则(投票过半原则),如果有一半以上的人投票给某个节点作为 Leader,那么它就是新的 Leader。

在 Raft 算法中,分布式系统中的所有节点被划分为三种角色:领导者(Leader)、追随者(Follower)和候选人(Candidate),这三者身份的转换如下:

  1. leader -> follower:倘若 leader 发现当前系统中出现了更大的任期,则会进行“禅让”,主动退位成 follower。这里 leader 发现更大任期的方式包括:
    1. 向 follower 提交日志同步请求时,从 follower 的响应参数中获得。
    2. 收到了来自新任 leader 的心跳或者同步日志请求。
    3. 收到了任期更大的 candidate 的拉票请求。
  2. follower -> candidate:leader 需要定期向 follower 发送心跳,告知自己仍健在的消息。倘若 follower 超过一定时长没收到 leader 心跳时,会将状态切换为 candidate,在当前任期的基础上加 1 作为竞选任期,发起竞选尝试补位。
  3. candidate -> follower:candidate 参与竞选过程中,出现以下两种情形时会退回 follower:
    1. 多数派投了反对票。
    2. 竞选期间,收到了任期大于等于自身竞选任期的 leader 传来的请求。
  4. candidate -> leader:candidate 竞选时,倘若多数派投了赞同票,则切换为 leader。
  5. candidate -> candidate:candidate 的竞选流程有一个时间阈值. 倘若超时仍未形成有效结论(多数派赞同或拒绝),则会维持 candidate 身份,将竞选任期加1,发起新一轮竞选。

    4.Raft选举流程

    Raft 算法的选举流程如下图所示:
    image.png
    它的投票流程有三种:

  6. 竞选者投票给原 leader

    1. 倘若该任期小于自身,拒绝,并回复自己的最新任期。
    2. 倘若该任期大于自身,退位为 follower,按照 follower 的模式处理该请求。
  7. 竞选者投票给 follower
    1. 倘若任期落后于自己,拒绝请求,并回复自己所在的任期。
    2. 倘若任期大于自己,判断最后的同步日志是否够新,如果比自己新就把这一票投给竞选者,如果没有自己新则拒绝。
  8. 竞选者投票给 candidate
    1. 倘若 leader 任期大于等于自己,同意此次投票,并退回 follower,按照 follower 模式处理请求。
    2. 如果 leader 任期小于自己,拒绝,并回复自己的最新任期。

每个竞选者根据以上投票来决定新的 leader,如果有一个投票过半,那么它就升级为新的 leader,并把这个消息同步给其他节点。否则会开启新的一轮投票,为了防止一直投票,会在开启新一轮投票时,设置的随机等待时间,和一定次数投票失败后弃权的机制,来保证投票顺利完成。

课后思考

Kafka 针对 Raft 算法做了哪些调整和升级?ES 针对 Raft 算法又做了哪些调整和升级?

参考 & 鸣谢

《小徐先生》

本文已收录到我的面试小站 www.javacn.site,其中包含的内容有:Redis、JVM、并发、并发、MySQL、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、设计模式、消息队列等模块。

相关文章
|
2月前
|
Android开发 Kotlin
Android经典面试题之Kotlin的==和===有什么区别?
本文介绍了 Kotlin 中 `==` 和 `===` 操作符的区别:`==` 用于比较值是否相等,而 `===` 用于检查对象身份。对于基本类型,两者行为相似;对于对象引用,`==` 比较值相等性,`===` 检查引用是否指向同一实例。此外,还列举了其他常用比较操作符及其应用场景。
182 93
|
1天前
|
消息中间件 存储 监控
ActiveMQ、RocketMQ、RabbitMQ、Kafka 的区别
【10月更文挑战第24天】ActiveMQ、RocketMQ、RabbitMQ 和 Kafka 都有各自的特点和优势,在不同的应用场景中发挥着重要作用。在选择消息队列时,需要根据具体的需求、性能要求、扩展性要求等因素进行综合考虑,选择最适合的消息队列技术。同时,随着技术的不断发展和演进,这些消息队列也在不断地更新和完善,以适应不断变化的应用需求。
14 1
|
14天前
|
消息中间件 存储 缓存
美团面试: Kafka为啥能实现 10Wtps 到100Wtps ?kafka 如何实现零复制 Zero-copy?
40岁老架构师尼恩分享了Kafka如何实现高性能的秘诀,包括零拷贝技术和顺序写。Kafka采用mmap和sendfile两种零拷贝技术,前者用于读写索引文件,后者用于向消费者发送消息,减少数据在用户空间和内核空间间的拷贝次数,提高数据传输效率。此外,Kafka通过顺序写日志文件,避免了磁盘寻道和旋转延迟,进一步提升了写入性能。尼恩还提供了系列技术文章和PDF资料,帮助读者深入理解这些技术,提升面试竞争力。
美团面试: Kafka为啥能实现 10Wtps 到100Wtps ?kafka 如何实现零复制 Zero-copy?
|
18天前
|
消息中间件 存储 监控
说说如何解决RocketMq消息积压?为什么Kafka性能比RocketMq高?它们区别是什么?
【10月更文挑战第8天】在分布式系统中,消息队列扮演着至关重要的角色,它不仅能够解耦系统组件,还能提供异步处理、流量削峰和消息持久化等功能。在众多的消息队列产品中,RocketMQ和Kafka无疑是其中的佼佼者。本文将围绕如何解决RocketMQ消息积压、为什么Kafka性能比RocketMQ高以及它们之间的区别进行深入探讨。
51 1
|
27天前
|
编译器
经典面试题:变量的声明和定义有什么区别
在编程领域,变量的“声明”与“定义”是经典面试题之一。声明告诉编译器一个变量的存在,但不分配内存,通常包含变量类型和名称;而定义则为变量分配内存空间,一个变量必须至少被定义一次。简而言之,声明是告知变量形式,定义则是实际创建变量并准备使用。
|
26天前
|
XML 前端开发 Java
Spring,SpringBoot和SpringMVC的关系以及区别 —— 超准确,可当面试题!!!也可供零基础学习
本文阐述了Spring、Spring Boot和Spring MVC的关系与区别,指出Spring是一个轻量级、一站式、模块化的应用程序开发框架,Spring MVC是Spring的一个子框架,专注于Web应用和网络接口开发,而Spring Boot则是对Spring的封装,用于简化Spring应用的开发。
73 0
Spring,SpringBoot和SpringMVC的关系以及区别 —— 超准确,可当面试题!!!也可供零基础学习
|
18天前
|
前端开发 小程序 JavaScript
面试官:px、em、rem、vw、rpx 之间有什么区别?
面试官:px、em、rem、vw、rpx 之间有什么区别?
16 0
|
19天前
|
消息中间件 存储 Kafka
面试题:Kafka如何保证高可用?有图有真相
面试题:Kafka如何保证高可用?有图有真相
|
3月前
|
消息中间件 算法 Java
面试官:Kafka中的key有什么用?
面试官:Kafka中的key有什么用?
114 3
面试官:Kafka中的key有什么用?
|
2月前
|
Java 关系型数据库 MySQL
面试官:GROUP BY和DISTINCT有什么区别?
面试官:GROUP BY和DISTINCT有什么区别?
66 0
面试官:GROUP BY和DISTINCT有什么区别?

热门文章

最新文章