Kafka整体结构以及模块分析-阿里云开发者社区

开发者社区> 微服务> 正文
登录阅读全文

Kafka整体结构以及模块分析

简介: 一、Kafka源代码的工程结构 如下图所示: 二、各模板简要说明 Xml代码 admin:管理员模块,操作和管理topic,paritions相关,包含create,delete topic,扩展patitions Api...

一、Kafka源代码的工程结构

如下图所示:

二、各模板简要说明

Xml代码

admin:管理员模块,操作和管理topic,paritions相关,包含create,delete topic,扩展patitions

Api:该模块主要负责交互数据的组装,客户端与服务端交互数据编解码

client:该模块比较简单就一个类,Producer读取kafka broker元数据信息topic和partitions,以及leader

cluster:该模块包含几个实体类,Broker,Cluster,Partition,Replica,解释他们之间关系:

Cluster由多个broker组成,一个Broker包含多个partition,一个topic的所有

partitions分布在不同broker的中,一个Replica包含多个Partition。

common:通用模块,只包含异常类和错误验证

consumer:consumer处理模块,负责所有客户端消费者数据和逻辑处理

contoroller:负责中央控制器选举,partition的leader选举,副本分配,副本重新分配,partition和replica扩容。

javaapi:提供java的producer和consumer接口api

log:Kafka文件存储模块,负责读写所有kafka的topic消息数据。

message:封装多个消息组成一个“消息集”或压缩消息集。

metrics:内部状态的监控模块

network:网络事件处理模块,负责处理和接收客户端连接

producer:producer实现模块,包括同步和异步发送消息。

serializer:序列化或反序列化当前消息

kafka:kafka门面入口类,副本管理,topic配置管理,leader选举实现(由contoroller模块调用)。

tools:一看这就是工具模块,包含内容比较多:

a.导出对应consumer的offset值.

b.导出LogSegments信息,当前topic的log写的位置信息.

c.导出zk上所有consumer的offset值.

d.修改注册在zk的consumer的offset值.

f.producer和consumer的使用例子.

utils:Json工具类,Zkutils工具类,Utils创建线程工具类,KafkaScheduler公共调度器类,公共日志类等等。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
微服务
使用钉钉扫一扫加入圈子
+ 订阅

构建可靠、高效、易扩展的技术基石

其他文章
最新文章
相关文章