面试官:Kafka和ES选主有什么区别?

简介: Kafka 和 ES,作为大数据处理的中间件,分别用于流处理和全文检索。它们的选主(Kafka 的 Controller 和 ES 的 Master)都基于 Raft 算法实现一致性。Raft 算法通过选举确保分布式系统数据一致性,涉及领导者、追随者和候选人间的身份转换。当超过一半的节点投票给同一候选节点时,该节点成为新领导者。Kafka 和 ES 在此基础上可能有各自优化调整。更多关于 Raft 算法的详细流程和选举规则见原文。

Kafka 和 ES 都是用来处理大数据的中间件,一个是消息中间件的代表(Kafka),另一个是大数据搜索引擎的代表(ES)。它们在 Java 领域的使用非常广泛,在大数据方面就更不用说了,但它们的选主(选择主节点)有什么关联与区别呢?接下来,我们一起来看。

1.基础概念

1.1 什么是Kafka?

Kafka 是一个分布式流处理平台,由 LinkedIn 公司开发和维护,之后成为 Apache 软件基金会的一部分。它主要是为处理实时数据而设计的,是一个高吞吐量的分布式发布订阅消息系统。

Kafka 集群组成如下:
image.png

说明:每个 Broker 就是一个 Kafka 实例(其中的 Broker 1 为 Controller,也就是主 Broker),一个 Broker 中有多个 Topic,一个 Topic 中有多个分区,分区分为两类:Leader 分区和 Follower 分区。

1.2 什么是ES?

ES 全称 Elasticsearch,是一个开源的高扩展的分布式全文检索引擎。它可以近乎实时地存储、检索数据,并且具有出色的扩展性,可以扩展到上百台服务器,处理 PB 级别的数据。Elasticsearch 使用 Java 开发,并使用 Apache Lucene 作为其核心来实现所有索引和搜索的功能,但它通过简单的 RESTful API 来隐藏 Lucene 的复杂性,使得全文搜索变得简单。

ES 集群组成如下:
image.png

说明:一个 ES 集群中只有一个 Master(主节点)节点,其他的为数据节点(还有其他节点类型,这里忽略),主节点协调整个集群的工作,数据节点中存储了多个分片,每个分片分为两种类型:主分片和副本分片(类似 Kafka 中分区的概念)。

2.Kafka和ES选主

Kafka 选主指的是选 Broker 中的 Controller,而 ES 选主指的是选取集群中的 Master,它们两个的关联是 Kafka 新版本(2.8 之后)和 ES 新版本(7.0 之后),它们的选主策略都是基于 Raft 算法实现的

PS:当然,Kafka 中叫做 KRaft,ES 也是在 Raft 算法的基础上扩充了二阶段选举,但它们基于的底层算法都是 Raft 算法。

3.什么是Raft算法?

Raft 算法是一种分布式一致性算法,主要用于在分布式系统中实现数据副本的一致性。该算法是 Paxos 算法的工程实现,其主要特点是通过较为简单的算法实现分布式系统的数据一致性和高可用。

Raft 算法的核心是通过选举投票,少数人服从多数人的原则(投票过半原则),如果有一半以上的人投票给某个节点作为 Leader,那么它就是新的 Leader。

在 Raft 算法中,分布式系统中的所有节点被划分为三种角色:领导者(Leader)、追随者(Follower)和候选人(Candidate),这三者身份的转换如下:

  1. leader -> follower:倘若 leader 发现当前系统中出现了更大的任期,则会进行“禅让”,主动退位成 follower。这里 leader 发现更大任期的方式包括:
    1. 向 follower 提交日志同步请求时,从 follower 的响应参数中获得。
    2. 收到了来自新任 leader 的心跳或者同步日志请求。
    3. 收到了任期更大的 candidate 的拉票请求。
  2. follower -> candidate:leader 需要定期向 follower 发送心跳,告知自己仍健在的消息。倘若 follower 超过一定时长没收到 leader 心跳时,会将状态切换为 candidate,在当前任期的基础上加 1 作为竞选任期,发起竞选尝试补位。
  3. candidate -> follower:candidate 参与竞选过程中,出现以下两种情形时会退回 follower:
    1. 多数派投了反对票。
    2. 竞选期间,收到了任期大于等于自身竞选任期的 leader 传来的请求。
  4. candidate -> leader:candidate 竞选时,倘若多数派投了赞同票,则切换为 leader。
  5. candidate -> candidate:candidate 的竞选流程有一个时间阈值. 倘若超时仍未形成有效结论(多数派赞同或拒绝),则会维持 candidate 身份,将竞选任期加1,发起新一轮竞选。

    4.Raft选举流程

    Raft 算法的选举流程如下图所示:
    image.png
    它的投票流程有三种:

  6. 竞选者投票给原 leader

    1. 倘若该任期小于自身,拒绝,并回复自己的最新任期。
    2. 倘若该任期大于自身,退位为 follower,按照 follower 的模式处理该请求。
  7. 竞选者投票给 follower
    1. 倘若任期落后于自己,拒绝请求,并回复自己所在的任期。
    2. 倘若任期大于自己,判断最后的同步日志是否够新,如果比自己新就把这一票投给竞选者,如果没有自己新则拒绝。
  8. 竞选者投票给 candidate
    1. 倘若 leader 任期大于等于自己,同意此次投票,并退回 follower,按照 follower 模式处理请求。
    2. 如果 leader 任期小于自己,拒绝,并回复自己的最新任期。

每个竞选者根据以上投票来决定新的 leader,如果有一个投票过半,那么它就升级为新的 leader,并把这个消息同步给其他节点。否则会开启新的一轮投票,为了防止一直投票,会在开启新一轮投票时,设置的随机等待时间,和一定次数投票失败后弃权的机制,来保证投票顺利完成。

课后思考

Kafka 针对 Raft 算法做了哪些调整和升级?ES 针对 Raft 算法又做了哪些调整和升级?

参考 & 鸣谢

《小徐先生》

本文已收录到我的面试小站 www.javacn.site,其中包含的内容有:Redis、JVM、并发、并发、MySQL、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、设计模式、消息队列等模块。

相关文章
|
5天前
|
存储 安全 Java
java面试基础 -- ArrayList 和 LinkedList有什么区别, ArrayList和Vector呢?
java面试基础 -- ArrayList 和 LinkedList有什么区别, ArrayList和Vector呢?
11 0
|
6天前
|
消息中间件 监控 Java
腾讯面试:如何提升Kafka吞吐量?
Kafka 是一个分布式流处理平台和消息系统,用于构建实时数据管道和流应用。它最初由 LinkedIn 开发,后来成为 Apache 软件基金会的顶级项目。 Kafka 特点是**高吞吐量、分布式架构、支持持久化、集群水平扩展和消费组消息消费**,具体来说: 1. **高吞吐量**:Kafka 具有高性能和低延迟的特性,能够处理大规模数据,并支持每秒数百万条消息的高吞吐量。 2. **分布式架构**:Kafka 采用分布式架构,可以水平扩展,多个节点之间能够实现负载均衡和高可用性。 3. **可持久化**:Kafka 将消息持久化到磁盘中,保证消息的可靠性,即使消费者下线或出现故障,消
17 0
|
11天前
|
消息中间件 关系型数据库 MySQL
MySQL 到 Kafka 实时数据同步实操分享(1),字节面试官职级
MySQL 到 Kafka 实时数据同步实操分享(1),字节面试官职级
|
11天前
|
索引
【ES6新语法】let、const、var的区别,你学会了面试官没话说
【ES6新语法】let、const、var的区别,你学会了面试官没话说
|
12天前
|
前端开发
vue2与vue3双向数据绑定的区别,前端面试自我介绍
vue2与vue3双向数据绑定的区别,前端面试自我介绍
|
12天前
|
存储 网络协议 前端开发
es集群安装,邮储银行java面试
es集群安装,邮储银行java面试
|
12天前
|
开发工具 Python
Python中return和yield的区别,面试官不讲武德
Python中return和yield的区别,面试官不讲武德
|
12天前
|
消息中间件 Java Kafka
Java大文件排序(有手就能学会),kafka面试题2024
Java大文件排序(有手就能学会),kafka面试题2024
|
12天前
|
消息中间件 前端开发 Java
java面试刷题软件kafka和mq的区别面试
java面试刷题软件kafka和mq的区别面试
|
12天前
|
消息中间件 关系型数据库 Kafka
实时计算 Flink版产品使用合集之想要加快消费 Kafka 数据的速度,该怎么配置参数
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。