Gradle 下载的源码不需要进行安装,下载解压后即可:
wget https://services.gradle.org/distributions/gradle-6.6-bin.zip
开始配置 Gradle 环境变量(以Ubuntu系统为例):
sudo vim /etc/profile
# 配置scala安装路径及环境变量
GRADLE_HOME=/home/wangjianghua/src/deps/gradle-6.6
export GRADLE_HOME
export PATH=$PATH:$GRADLE_HOME/bin
# 使其生效
source /etc/profile
# 验证gradle环境是否生效
gradle -v
出现下面提示,说明 Gradle 环境搭建成功:
03
Zookeeper 环境搭建
Zookeeper 下载并解压如下:
wget http://archive.apache.org/dist/zookeeper/stable/apache-zookeeper-3.6.3.tar.gz
修改 Zookeeper 配置:
# 进入配置目录
cd apache-zookeeper-3.6.3/conf
# 修改配置文件名称
mv zoo_sample.cfg zoo.cfg
# 如需修改日志目录可以更改zoo.cfg配置的datas路径
dataDir=/xxx/zookeeper/data
启动 Zookeeper 服务:
# 进入执行目录【bin】
cd apache-zookeeper-3.6.3/bin
# 执行启动命令
./zkServer.sh start
出现下面提示,说明 Zookeeper 环境搭建成功:
04
Kafka 源码环境搭建
http://kafka.apache.org/downloads
Kafka 源码依赖 Gradle 环境,本文使用 gradle 命令来构建 Kafka 源码环境。
gradle 命令说明:
# 下载并更新gradle 套件即 wrapper
gradle
# 构建 jar包并运行
./gradlew jar
# 构建项目,看你是idea工具还是eclipse
./gradlew idea
./gradlew eclipse
# 构建源码包
./gradlew srcJar
# 构建javadoc文档
./gradlew aggregatedJavadoc
# 清理并构建
./gradlew clean
首先 git 切换到对应的 2.7.0 版本:
然后先开始执行 gradle 命令,构建并更新 gradle wrapper 套件:
待执行完后,会生成 gradle 目录, 如果此时 Jar 包没有下载成功的话,可以从网盘下载后,切换到 gradle/wrapper 目录,将 Jar 包复制到该目录。
# 进入 kafka 目录执行
./gradlew jar #构建jar包,执行时间比较长,耐心等待
./gradlew idea #把 Kafka 源码导入到idea中,执行时间比较长,耐心等待
./gradlew eclipse #如果是使用的eclipse,可以执行此命令
待执行完后,最后通过 IDEA 导入安装好的 Kafka 源码,如下:
至此,IDEA Kafka 源码环境已经安装完成。
03 Kafka 源码全景图
上面聊完 Kafka 源码安装环境,接下来我们先来聊聊 Kafka 源码的一个全景图,看看Kafka 都包括哪些核心模块,如下图所示:
从功能上讲,Kafka 源码可以分为五大模块:
1)服务端源码:实现 Kafka Broker 核心功能模块,包括日志存储、控制器、协调器、元数据管理及状态机管理、延迟机制、消费者组管理、高并发网络架构模型实现等。
2)Java 客户端源码:实现了 Producer、Consumer 与 Broker 交互机制以及通用组件支撑代码。
3)Connect 源码:用来构建异构数据双向流式同步服务。
4)Stream 源码:用来实现实时流处理相关功能。
5)Raft 源码:raft 一致性协议实现。
由此可见,「服务端源码」是理解 Kafka 底层存储架构和集群运行原理的核心,也是很多线上问题频发的「重灾区」。而客户端主要是跟服务端进行交互生产和消费数据,所以「服务端源码」和 「客户端源码」是 Kafka 实现最核心和精华的代码,也是我们深入研究的核心重点,因此本源码系列主要剖析客户端以及服务端相关源码实现,其他模块的实现后续有机会在进行剖析。
接下来我们分别来看看服务端源码和客户端源码的全景图以及我们分析的源码重点。
01
Kafka 生产端源码全景图
从生产者端来说,我们可以学习到 Kafka Producer 是如何进行初始化; 集群元数据如何拉取、加载、更新; 又是如何通过 Java NIO 设计客户端网络通信模块的,以及如何通过缓存、异步、批量、内存池等设计保证消息在生产过程中的高性能和可靠性的。
对于不了解 Producer 的读者们,可以查看聊聊 Kafka Producer 那点事
我把整个生产端源码按照功能分为5大模块,每个模块会进一步的划分出一些子部分, 详细给出了各个组件级的源码分析, 你可以看下面这张全景图的重点介绍:
02
Kafka 服务端源码全景图
从服务端来说,我们可以学习到 Kafka 服务端是如何管理和存储日志的,以及分区和副本是如何设计和实现的。
我把整个服务端源码按照功能分为5大模块,每个模块会进一步的划分出一些子部分, 详细给出了各个组件级的源码分析, 你可以看下面这张全景图的重点介绍:
03
Kafka 消费端源码全景图
从消费者来说,我们可以学习到 Kafka consumer 初始化流程,组协调者机制,如何跟服务端进行通信,以及消费组如何实现消费的重平衡的。
对于不了解 Consumer 的读者们,可以先看看 聊聊 Kafka Consumer 那点事
我把整个消费端源码按照功能分为6大模块,每个模块会进一步的划分出一些子部分, 详细给出了各个组件级的源码分析, 你可以看下面这张全景图的重点介绍: