Kafka源码解析之SocketServer(下)

简介: Kafka源码解析之SocketServer

创建Data plane所需资源


负责为Data plane创建所需资源


image.png



执行流程


image.png



最大连接数计数器将被用来确保没有配额超限的情形发生

创建Processor线程池。对于Data plane而言,线程池的数量由Broker端参数num.network.threads决定

将<监听器,Acceptor线程>对加入到Acceptor线程池统一管理


比如配置listeners=PLAINTEXT://localhost:9092, SSL://localhost:9093,默认会为PLAINTEXT和SSL监听器分别创建一个Acceptor线程和一个Processor线程池。


具体为哪些监听器创建依据配置而定,Kafka只会为Data plane所使的监听器创建这些资源。



创建Control plane所需资源


基于控制类请求远小于数据类请求假设,Control plane的配套资源只有1个Acceptor线程 + 1个Processor线程 + 1个深度是20的请求队列而已。和Data plane相比,这些配置稍显寒酸,够用就行。

和createDataPlaneAcceptorsAndProcessors类似,只是需判断是否配置用于Control plane的监听器。

目前,Kafka规定只能有1套监听器用于Control plane,而不能像Data plane那样可以配置多套。



  • 以上都没听提到启动Acceptor和Processor线程。那这些线程到底是在什么时候启动?
    在启动SocketServer组件之后启动的,具体代码在KafkaServer.scala文件的startup方法


Broker端参数control.plane.listener.name用于设置Control plane所用的监听器。


在默认情况下,这个参数的值是空(Null)。Null的意思就是告诉Kafka不要启用请求优先级区分机制,但如果你设置了这个参数,Kafka就会利用它去listeners中寻找对应的监听器了。


假设Broker端配置:


listener.security.protocol.map=CONTROLLER:PLAINTEXT,INTERNAL:PLAINTEXT,EXTERNAL:SSL
listeners=CONTROLLER://192.1.1.8:9091,INTERNAL://192.1.1.8:9092,EXTERNAL://10.1.1.5:9093
control.plane.listener.name=CONTROLLER

名字是CONTROLLER的那套监听器将被用于Control plane。

名字是INTERNAL和EXTERNAL的这两组监听器用于Data plane。


Kafka如何知道CONTROLLER这套监听器给Control plane使用?

KafkaConfig类封装了Broker端所有参数信息和便捷的工具方法。


确认Control plane监听器完整的查找逻辑:


先获取Broker端参数control.plane.listener.name值。该实例中,值是字符串CONTROLLER

读取Broker端参数listener.security.protocol.map值,并找出CONTROLLER对应的安全认证协议。该例中,CONTROLLER对应安全认证协议PLAINTEX

controlPlaneListenerName方法的作用是拿到这组值,即对

最后,controlPlaneListener方法拿到这组值,取出监听器名称CONTROLLER去寻找Broker端参数listeners中对应的监听器。该例中,这个监听器就是CONTROLLER://192.1.1.8:9091。

getControlPlaneListenerNameAndSecurityProtocol


image.png

image.png


拿参数值后,controlPlaneListener会记录这个值,传到SocketServer#createControlPlaneAcceptorAndProcessor。这样,SocketServer就能知道你到底有没有为Control plane设置专属监听器了。


和请求优先级之间的关系

严格说,Kafka没有为请求设置数值型的优先级,因此,我们并不能把所有请求按照所谓的优先级进行排序。

Kafka仅实现了粗粒度的优先级处理,即整体上把请求分为



  • 数据类请求
  • 控制类请求


而且没有为这两类定义可相互比较的优先级。那如何把刚刚说的所有东西和这里的优先级进行关联呢?

定义了多套监听器 & 底层处理线程的方式来 以区分这俩类请求。虽然无法直接比较俩类请求的优先级,但在实际应用中,由于数据类请求数量>>控制类请求,因此,为控制类请求单独定义处理资源的做法,实际上就等同于拔高了控制类请求的优先处理权。

这也算间接实现了优先级的区别对待。



总结


Data plane:负责处理数据类请求,这类请求通常不需要高优先级处理。

Control plane:负责处理控制类请求,这类请求需要高优先级处理。

监听器:Kafka允许Broker定义多套监听器,每套监听器可用于Data plane或Control plane。

优先级实现原理:你要知道的是,社区设计了两套资源分别处理Data plane和Control plane请求。


目录
相关文章
|
算法 测试技术 C语言
深入理解HTTP/2:nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例,本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议,提高Web应用的性能和用户体验。对于实际开发中的应用,可以根据需要进一步优化和扩展代码,以满足具体需求。
1213 29
|
前端开发 数据安全/隐私保护 CDN
二次元聚合短视频解析去水印系统源码
二次元聚合短视频解析去水印系统源码
504 4
|
JavaScript 算法 前端开发
JS数组操作方法全景图,全网最全构建完整知识网络!js数组操作方法全集(实现筛选转换、随机排序洗牌算法、复杂数据处理统计等情景详解,附大量源码和易错点解析)
这些方法提供了对数组的全面操作,包括搜索、遍历、转换和聚合等。通过分为原地操作方法、非原地操作方法和其他方法便于您理解和记忆,并熟悉他们各自的使用方法与使用范围。详细的案例与进阶使用,方便您理解数组操作的底层原理。链式调用的几个案例,让您玩转数组操作。 只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
|
移动开发 前端开发 JavaScript
从入门到精通:H5游戏源码开发技术全解析与未来趋势洞察
H5游戏凭借其跨平台、易传播和开发成本低的优势,近年来发展迅猛。接下来,让我们深入了解 H5 游戏源码开发的技术教程以及未来的发展趋势。
|
存储 前端开发 JavaScript
在线教育网课系统源码开发指南:功能设计与技术实现深度解析
在线教育网课系统是近年来发展迅猛的教育形式的核心载体,具备用户管理、课程管理、教学互动、学习评估等功能。本文从功能和技术两方面解析其源码开发,涵盖前端(HTML5、CSS3、JavaScript等)、后端(Java、Python等)、流媒体及云计算技术,并强调安全性、稳定性和用户体验的重要性。
|
机器学习/深度学习 自然语言处理 算法
生成式 AI 大语言模型(LLMs)核心算法及源码解析:预训练篇
生成式 AI 大语言模型(LLMs)核心算法及源码解析:预训练篇
3639 1
|
负载均衡 JavaScript 前端开发
分片上传技术全解析:原理、优势与应用(含简单实现源码)
分片上传通过将大文件分割成多个小的片段或块,然后并行或顺序地上传这些片段,从而提高上传效率和可靠性,特别适用于大文件的上传场景,尤其是在网络环境不佳时,分片上传能有效提高上传体验。 博客不应该只有代码和解决方案,重点应该在于给出解决方案的同时分享思维模式,只有思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
482 2
|
设计模式 存储 安全
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
创建型模式的主要关注点是“怎样创建对象?”,它的主要特点是"将对象的创建与使用分离”。这样可以降低系统的耦合度,使用者不需要关注对象的创建细节。创建型模式分为5种:单例模式、工厂方法模式抽象工厂式、原型模式、建造者模式。
1213 2
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
|
存储 设计模式 算法
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析
行为型模式用于描述程序在运行时复杂的流程控制,即描述多个类或对象之间怎样相互协作共同完成单个对象都无法单独完成的任务,它涉及算法与对象间职责的分配。行为型模式分为类行为模式和对象行为模式,前者采用继承机制来在类间分派行为,后者采用组合或聚合在对象间分配行为。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象行为模式比类行为模式具有更大的灵活性。 行为型模式分为: • 模板方法模式 • 策略模式 • 命令模式 • 职责链模式 • 状态模式 • 观察者模式 • 中介者模式 • 迭代器模式 • 访问者模式 • 备忘录模式 • 解释器模式
1424 1
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析

热门文章

最新文章

推荐镜像

更多
  • DNS