Kafka源码解析之SocketServer(下)

简介: Kafka源码解析之SocketServer

创建Data plane所需资源


负责为Data plane创建所需资源


image.png



执行流程


image.png



最大连接数计数器将被用来确保没有配额超限的情形发生

创建Processor线程池。对于Data plane而言,线程池的数量由Broker端参数num.network.threads决定

将<监听器,Acceptor线程>对加入到Acceptor线程池统一管理


比如配置listeners=PLAINTEXT://localhost:9092, SSL://localhost:9093,默认会为PLAINTEXT和SSL监听器分别创建一个Acceptor线程和一个Processor线程池。


具体为哪些监听器创建依据配置而定,Kafka只会为Data plane所使的监听器创建这些资源。



创建Control plane所需资源


基于控制类请求远小于数据类请求假设,Control plane的配套资源只有1个Acceptor线程 + 1个Processor线程 + 1个深度是20的请求队列而已。和Data plane相比,这些配置稍显寒酸,够用就行。

和createDataPlaneAcceptorsAndProcessors类似,只是需判断是否配置用于Control plane的监听器。

目前,Kafka规定只能有1套监听器用于Control plane,而不能像Data plane那样可以配置多套。



  • 以上都没听提到启动Acceptor和Processor线程。那这些线程到底是在什么时候启动?
    在启动SocketServer组件之后启动的,具体代码在KafkaServer.scala文件的startup方法


Broker端参数control.plane.listener.name用于设置Control plane所用的监听器。


在默认情况下,这个参数的值是空(Null)。Null的意思就是告诉Kafka不要启用请求优先级区分机制,但如果你设置了这个参数,Kafka就会利用它去listeners中寻找对应的监听器了。


假设Broker端配置:


listener.security.protocol.map=CONTROLLER:PLAINTEXT,INTERNAL:PLAINTEXT,EXTERNAL:SSL
listeners=CONTROLLER://192.1.1.8:9091,INTERNAL://192.1.1.8:9092,EXTERNAL://10.1.1.5:9093
control.plane.listener.name=CONTROLLER

名字是CONTROLLER的那套监听器将被用于Control plane。

名字是INTERNAL和EXTERNAL的这两组监听器用于Data plane。


Kafka如何知道CONTROLLER这套监听器给Control plane使用?

KafkaConfig类封装了Broker端所有参数信息和便捷的工具方法。


确认Control plane监听器完整的查找逻辑:


先获取Broker端参数control.plane.listener.name值。该实例中,值是字符串CONTROLLER

读取Broker端参数listener.security.protocol.map值,并找出CONTROLLER对应的安全认证协议。该例中,CONTROLLER对应安全认证协议PLAINTEX

controlPlaneListenerName方法的作用是拿到这组值,即对

最后,controlPlaneListener方法拿到这组值,取出监听器名称CONTROLLER去寻找Broker端参数listeners中对应的监听器。该例中,这个监听器就是CONTROLLER://192.1.1.8:9091。

getControlPlaneListenerNameAndSecurityProtocol


image.png

image.png


拿参数值后,controlPlaneListener会记录这个值,传到SocketServer#createControlPlaneAcceptorAndProcessor。这样,SocketServer就能知道你到底有没有为Control plane设置专属监听器了。


和请求优先级之间的关系

严格说,Kafka没有为请求设置数值型的优先级,因此,我们并不能把所有请求按照所谓的优先级进行排序。

Kafka仅实现了粗粒度的优先级处理,即整体上把请求分为



  • 数据类请求
  • 控制类请求


而且没有为这两类定义可相互比较的优先级。那如何把刚刚说的所有东西和这里的优先级进行关联呢?

定义了多套监听器 & 底层处理线程的方式来 以区分这俩类请求。虽然无法直接比较俩类请求的优先级,但在实际应用中,由于数据类请求数量>>控制类请求,因此,为控制类请求单独定义处理资源的做法,实际上就等同于拔高了控制类请求的优先处理权。

这也算间接实现了优先级的区别对待。



总结


Data plane:负责处理数据类请求,这类请求通常不需要高优先级处理。

Control plane:负责处理控制类请求,这类请求需要高优先级处理。

监听器:Kafka允许Broker定义多套监听器,每套监听器可用于Data plane或Control plane。

优先级实现原理:你要知道的是,社区设计了两套资源分别处理Data plane和Control plane请求。


目录
相关文章
|
1天前
|
XML 人工智能 Java
Spring Bean名称生成规则(含源码解析、自定义Spring Bean名称方式)
Spring Bean名称生成规则(含源码解析、自定义Spring Bean名称方式)
|
10天前
yolo-world 源码解析(六)(2)
yolo-world 源码解析(六)
19 0
|
10天前
yolo-world 源码解析(六)(1)
yolo-world 源码解析(六)
13 0
|
10天前
yolo-world 源码解析(五)(4)
yolo-world 源码解析(五)
22 0
|
10天前
yolo-world 源码解析(五)(1)
yolo-world 源码解析(五)
31 0
|
10天前
yolo-world 源码解析(二)(2)
yolo-world 源码解析(二)
21 0
|
2月前
|
消息中间件 安全 Kafka
2024年了,如何更好的搭建Kafka集群?
我们基于Kraft模式和Docker Compose同时采用最新版Kafka v3.6.1来搭建集群。
438 2
2024年了,如何更好的搭建Kafka集群?
|
3月前
|
消息中间件 存储 数据可视化
kafka高可用集群搭建
kafka高可用集群搭建
44 0
|
6月前
|
消息中间件 存储 Kubernetes
Helm方式部署 zookeeper+kafka 集群 ——2023.05
Helm方式部署 zookeeper+kafka 集群 ——2023.05
243 0

热门文章

最新文章

推荐镜像

更多