创建Data plane所需资源
负责为Data plane创建所需资源
执行流程
最大连接数计数器将被用来确保没有配额超限的情形发生
创建Processor线程池。对于Data plane而言,线程池的数量由Broker端参数num.network.threads决定
将<监听器,Acceptor线程>对加入到Acceptor线程池统一管理
比如配置listeners=PLAINTEXT://localhost:9092, SSL://localhost:9093,默认会为PLAINTEXT和SSL监听器分别创建一个Acceptor线程和一个Processor线程池。
具体为哪些监听器创建依据配置而定,Kafka只会为Data plane所使的监听器创建这些资源。
创建Control plane所需资源
基于控制类请求远小于数据类请求假设,Control plane的配套资源只有1个Acceptor线程 + 1个Processor线程 + 1个深度是20的请求队列而已。和Data plane相比,这些配置稍显寒酸,够用就行。
和createDataPlaneAcceptorsAndProcessors类似,只是需判断是否配置用于Control plane的监听器。
目前,Kafka规定只能有1套监听器用于Control plane,而不能像Data plane那样可以配置多套。
- 以上都没听提到启动Acceptor和Processor线程。那这些线程到底是在什么时候启动?
在启动SocketServer组件之后启动的,具体代码在KafkaServer.scala文件的startup方法
Broker端参数control.plane.listener.name用于设置Control plane所用的监听器。
在默认情况下,这个参数的值是空(Null)。Null的意思就是告诉Kafka不要启用请求优先级区分机制,但如果你设置了这个参数,Kafka就会利用它去listeners中寻找对应的监听器了。
假设Broker端配置:
listener.security.protocol.map=CONTROLLER:PLAINTEXT,INTERNAL:PLAINTEXT,EXTERNAL:SSL listeners=CONTROLLER://192.1.1.8:9091,INTERNAL://192.1.1.8:9092,EXTERNAL://10.1.1.5:9093 control.plane.listener.name=CONTROLLER
名字是CONTROLLER的那套监听器将被用于Control plane。
名字是INTERNAL和EXTERNAL的这两组监听器用于Data plane。
Kafka如何知道CONTROLLER这套监听器给Control plane使用?
KafkaConfig类封装了Broker端所有参数信息和便捷的工具方法。
确认Control plane监听器完整的查找逻辑:
先获取Broker端参数control.plane.listener.name值。该实例中,值是字符串CONTROLLER
读取Broker端参数listener.security.protocol.map值,并找出CONTROLLER对应的安全认证协议。该例中,CONTROLLER对应安全认证协议PLAINTEX
controlPlaneListenerName方法的作用是拿到这组值,即对
最后,controlPlaneListener方法拿到这组值,取出监听器名称CONTROLLER去寻找Broker端参数listeners中对应的监听器。该例中,这个监听器就是CONTROLLER://192.1.1.8:9091。
getControlPlaneListenerNameAndSecurityProtocol
拿参数值后,controlPlaneListener会记录这个值,传到SocketServer#createControlPlaneAcceptorAndProcessor。这样,SocketServer就能知道你到底有没有为Control plane设置专属监听器了。
和请求优先级之间的关系
严格说,Kafka没有为请求设置数值型的优先级,因此,我们并不能把所有请求按照所谓的优先级进行排序。
Kafka仅实现了粗粒度的优先级处理,即整体上把请求分为
- 数据类请求
- 控制类请求
而且没有为这两类定义可相互比较的优先级。那如何把刚刚说的所有东西和这里的优先级进行关联呢?
定义了多套监听器 & 底层处理线程的方式来 以区分这俩类请求。虽然无法直接比较俩类请求的优先级,但在实际应用中,由于数据类请求数量>>控制类请求,因此,为控制类请求单独定义处理资源的做法,实际上就等同于拔高了控制类请求的优先处理权。
这也算间接实现了优先级的区别对待。
总结
Data plane:负责处理数据类请求,这类请求通常不需要高优先级处理。
Control plane:负责处理控制类请求,这类请求需要高优先级处理。
监听器:Kafka允许Broker定义多套监听器,每套监听器可用于Data plane或Control plane。
优先级实现原理:你要知道的是,社区设计了两套资源分别处理Data plane和Control plane请求。