Kafka流程流转-服务端

简介: kafka分为客户端和服务端,通常我们知道broker是服务端,而生产者和消费者作为客户端。因此在服务端就必定需要解决并发和网络IO的问题。因此不可避免需要用到SocketChannel和ServerSocketChannel,可以看到kafka就使用了ServerSocketChannel,采用Netty来解决这个问题,这里socketServer采用了1个Acceptor,多个Processor。同时将请求发送到请求通道RequestChannel中。而我们知道RequestChannel中有一个请求队列和多个响应队列,通常响应队列是3个,这个参数是在kafka的配置中配置的。通过kafk

     kafka分为客户端和服务端,通常我们知道broker是服务端,而生产者和消费者作为客户端。因此在服务端就必定需要解决并发和网络IO的问题。因此不可避免需要用到SocketChannel和ServerSocketChannel,可以看到kafka就使用了ServerSocketChannel,采用Netty来解决这个问题,这里socketServer采用了1个Acceptor,多个Processor。同时将请求发送到请求通道RequestChannel中。而我们知道RequestChannel中有一个请求队列和多个响应队列,通常响应队列是3个,这个参数是在kafka的配置中配置的。通过kafka请求处理池进行请求转发,将请求转发到KafkaApis中,然后kafkaApis根据请求进行具体处理。而kafkaApis的请求处理依赖偏移量管理OffsetManager、LogManager、ReplicaManager等。

      而我们知道在KafkaServer中除了上面的操作,还有Controller的操作,首先会创建KafkaController对象,这个过程中会创建一个ControllerContext,用于缓存控制器中的各种处理数据,包括选举次数、代理列表、主题列表、各个主题分区等以及状态机。然后进行KafkaController的初始化操作,在这个过程中需要首先经过ZookeeperLeaderElector选举,分为两种情况:当前控制器选举成功和选举失败,如果当前控制器选举成功则调用onControllerFailOver方法,如果当前控制器选举失败,则调用onControllerResignation方法。

       选举过程中,是以leaderId是否为-1进行判断的,如果是-1,这说明没有成功选举出Leader,如果不为-1,则说明已经选举出Leader,此时会调用onBecomingLeader方法。

      Kafka的健康检测是通过KafkaHealthCheck中在zookeeper上创建瞬时节点来实现的,如果存在瞬时节点,则说明健康,否者说明不健康。而在RocketMQ中,则是通过发送心跳包来进行判断是否健康的。

微信图片_20221214030100.png


目录
相关文章
|
消息中间件 数据采集 域名解析
数据采集-Lua集成kafka流程跑通|学习笔记
快速学习数据采集-Lua集成kafka流程跑通
402 0
数据采集-Lua集成kafka流程跑通|学习笔记
|
3月前
|
消息中间件 存储 缓存
Kafka - 3.x 图解Broker总体工作流程
Kafka - 3.x 图解Broker总体工作流程
72 0
|
3月前
|
消息中间件 Kafka API
Kafka - 图解生产者消息发送流程
Kafka - 图解生产者消息发送流程
63 0
|
4月前
|
消息中间件 Kafka
kafka写入和消费流程
kafka写入和消费流程
124 0
|
4月前
|
消息中间件 存储 中间件
Greenplum GPKafka【部署 01】使用GPKafka实现Kafka数据导入Greenplum数据库完整流程分享(扩展安装文件网盘分享)
Greenplum GPKafka【部署 01】使用GPKafka实现Kafka数据导入Greenplum数据库完整流程分享(扩展安装文件网盘分享)
37 0
|
8月前
|
消息中间件 存储 缓存
Kafka学习--3、Kafka Broker、节点服役和退役、Kafka 副本、Leader 选举流程、故障处理
Kafka学习--3、Kafka Broker、节点服役和退役、Kafka 副本、Leader 选举流程、故障处理
|
10月前
|
消息中间件 存储 负载均衡
【Kafka从入门到放弃系列 三】Kafka架构深入——工作流程和存储机制
【Kafka从入门到放弃系列 三】Kafka架构深入——工作流程和存储机制
155 0
|
10月前
|
消息中间件 数据采集 存储
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的Kafka Source
在Flume中,Kafka Source是一种常见的Source类型。它可以从Kafka的Topic中采集数据,并将其转换成Flume事件进行处理和存储。本文将介绍Kafka Source的配置和数据采集流程。
118 0
|
消息中间件 存储 算法
|
消息中间件 XML 存储
【夯实Kafka实战性能调优技能】消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
【夯实Kafka实战性能调优技能】消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
550 0

热门文章

最新文章