Flink 源码阅读环境搭建

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 阅读优秀的源码是提升我们代码技能最重要的手段之一,工欲善其事必先利其器,所以,搭建好源码阅读环境是我们阅读的第一步。

本文大纲

一、Flink 官方文档这么全面,为什么还要读 Flink 源码

读文档和读源码的目的是不一样的,就拿 Apache Flink 这个项目来说,如果你想知道 Flink 的使用功能,设计思想,实现原理,看官方文档就足够了;如果你想了解的就是具体细节,比如说 StreamGraph 是怎么生成的或者是 Exactly Once 究竟如何实现的,那么就需要去阅读源码了。

关键是看你的目的是什么,如果你想了解思想,经验等看文档就够了,因为文档是人写给人的;如果你想了解具体细节,那应该去看源码,因为源码是人写给机器的,源码里有到底做了什么这些事情。

那么我写这篇的文章目的是什么?我的目的是,万一你已经在生产上身经百战了,对 Flink 的原理都把握住了,那么看源码是对你来说最好的进阶方式,所以我为你准备了这篇搭建环境的教程,为你节约宝贵的时间陪家人陪孩子不香吗?

二、Flink 源码几百万行,该如何下手

通常对于阅读源码这件事情来说是有方法论可循的。

1、首先得具备前提条件

  • 相关语言和基础技术知识。比如 Java,Maven,Git,设计模式等等。如果你只会 C++,哪天心血来潮去阅读 Flink 源码,那是不现实的;
  • 开源项目的功能。需要知道这个项目是为了解决什么问题,完成什么功能,有哪些特性,如何启动,有哪些配置项。先把这个项目跑起来,能运行简单的 Demo;
  • 相关的文档。也就是庞大的工程中,有哪些模块,每个模块大概的功能是干嘛的;

这些前提知识准备好了之后,你就对这个项目有了一个感性的认识,再去阅读它的代码就轻松一些了。

在阅读代码过程中,不是说拿到源码就直接从第一个模块一行行的开始读,这样很容易迷失方向,陷入到代码细节中无可自拔。

2、其次需要关注这些重点东西

  • 接口抽象定义。任何项目代码都会有很多接口,接口的继承关系和方法,描述了它处理的数据结构,业务实体以及和其他模块的关系,理清楚这些关系是非常重要的。
  • 模块粘合层。代码中很多的设计模式,都是为了解耦各个模块的,好处就是灵活扩展,坏处就是让本来平铺直述的代码割裂成一个个模块,不那么方便阅读。
  • 业务流程。在代码一开始,不要进入细节,一方面会打消你的积极性,一方面也看不过来。要站在一定的高度,搞清楚整个的业务流程是怎样的,数据是怎么被传递的。最好可以画流程图或者时序图,方便理解和记忆。
  • 具体实现。在具体实现中,仍然需要弄清楚一些重要的点
    (1)代码逻辑。在代码中,有业务逻辑,是真正的业务处理逻辑;还有控制逻辑,像流程流转之类的;
    (2)出错处理。其实很多地方都是在处理出错的逻辑,可以忽略掉这部分逻辑,排除干扰因素;
    (3)数据处理。属性转换,JSON 解析,XML 解析,这些代码都比较冗长和无聊,可以忽略;
    (4)重要的算法。这是比较核心的地方,也是最有技术含量的地方;
    (5)底层交互。有一些代码是和底层操作系统或者是和 JVM 交互的,需要知道一些底层的东西;
  • 运行时调试。这是最直接的方式,可以看到代码究竟是如何跑起来的,数据是怎么样的,是了解代码最重要的方式。

总结成一句话:高屋建瓴,提纲挈领,把握方向

好了,有了这些内容心法,下面开始实战吧!

三、安装 Git 环境

我就不具体演示了,说一下大致流程,可以自行百度,相关的文章很多的。

1、下载 Git

下载对应平台(Windows,Mac)的 Git 客户端,并安装

下载地址:https://git-scm.com/downloads

2、初始配置

$ git config --global user.name "Your Name"

$ git config --global user.email yourEmail@example.com

3、生成秘钥,并上传到 Gitee 上

ssh-keygen -t rsa

登陆 Gitee,在头像 - 设置 - 安全设置 - SSH 公钥 添加一个公钥

四、Github 龟速如何解决

GitHub 很慢如何下载好几十 M 的源码文件呢?

你想下载任意 GitHub 项目,都可以在 Gitee 上导入这个 Github 项目:

导入之后,就可以下载了。当然 Apache Flink 活跃度前几的项目,Gitee 肯定是会同步的了,直接搜索即可。

https://gitee.com/apache/flink?_from=gitee_search

然后打开 Git Bash,克隆这个项目

git@gitee.com:apache/flink.git

获取所有的分支

git fetch --tags

切换到 1.12.0 分支

git checkout release-1.12.0

这样最新发布的 1.12.0 版本源码就在本地了。

五、配置 Maven 阿里镜像

在导入 IDEA 之前,我们要配置 Maven 的镜像为阿里云的,这样下载 Jar 包比较快速。

在 Maven 安装目录的 conf 目录的 settings.xml 文件中,加入如下配置到 mirrors 标签中

<mirror>

   <id>alimaven</id>

   <name>aliyun maven</name>

   <url>http://maven.aliyun.com/nexus/content/groups/public/</url>

   <mirrorOf>central</mirrorOf>      

</mirror>

六、导入 IDEA

打开 IDEA,直接打开即可,等待它下载好所有的依赖

导入后,可以看到有很多模块,但是各个模块的功能见名知意,非常清晰,这里我就不挨个介绍了。直接开始 Debug Flink-Clients 模块。

七、开始调试 Flink-Clients

首先想强调一下,为什么要调试这个模块。因为这个模块是提交 Flink 作业的入口模块,代码流程相对比较清晰,调试完,就可以知道 Flink 作业是怎么提交的了。

1、我们该调试哪个对象

回忆下,大数据的 Hello,World 程序是什么,是不是 WordCount,Flink 发行版自带的例子中,就有 WordCount 程序。

下面的图,我是下载了官网的 Flink-1.12 发行版,放到我的虚拟机上了。

如何把它运行起来呢?

首先启动一个本机的 Flink 集群,把压缩包解压出来之后,什么都不要做,直接启动

cd /my2/flink/bin

./start-cluster.sh

提交 WordCount 程序到集群

./flink run ../examples/streaming/WordCount.jar

这样就直接把 WordCount 程序提交到集群上了,是怎么做到的呢?可以看看 flink 这个命令里面是什么

vi flink

移动到最后,可以发现

# Add HADOOP_CLASSPATH to allow the usage of Hadoop file systems

exec $JAVA_RUN$JVM_ARGS$FLINK_ENV_JAVA_OPTS"${log_setting[@]}"-classpath"`manglePathList "$CC_CLASSPATH:$INTERNAL_HADOOP_CLASSPATHS"`" org.apache.flink.client.cli.CliFrontend "$@"

原来它就是一个 java -classpath 类名,启动了一个 Java 虚拟机啊

这个类就是

org.apache.flink.client.cli.CliFrontend

这个类就是我们要运行的对象了

2、开始调试

可以看到 CliFrontend 里面有一个 main 方法,二话不说,直接 debug,报错了再说

果然,报错如下:

说在环境变量中,没有找到 FLINK_CONF_DIR 配置,也就是 flink 配置文件没有找到,就是那个 flink-conf.yml 文件

这个文件其实是在发行目录下:

然后配置一个

在这个地方加上这个配置

FLINK_CONF_DIR=D:\Code\flink\flink\flink-dist\src\main\resources

再运行一遍,报错如下

原来是因为,我们之前在运行命令的时候,后面还有一坨参数,现在什么参数都没有往 main 方法传,当然报错了。

这里我们还需要一个 WordCount.jar 包,源码都有了,直接从源码打包一个出来,就是这么的任性了。

直接把 Flink : Examples : Streaming 模块打个包

打完包之后,在 target 目录下,就会有一个 WordCount.jar 包了

填到这个地方

run D:\Code\flink\flink\flink-examples\flink-examples-streaming\target\WordCount.jar

然后再 Debug 看一下,发现它在这卡了很久,直到超时(WARNING 先不用管)

这个是正常的,因为它在最后生成 JobGraph 之后,是要通过 JobClient 客户端,提交到集群上的(还记得我们那个配置文件吗?里面可是配了集群的 JobManager 地址和端口的),而我们在 Windows 本地并没有启动集群。

不过没有关系,我们可以通过调试代码,看到 StreamGraph 是如何生成的,JobGraph 是如何生成的,最后是通过哪个类准备提交到集群的。这些提交前的动作,都可以通过源码看得到!

七、总结

今天通过完整的下载 Flink 代码,配置环境,初步调试了 Flink-Clients 代码,大致清楚,一个实时作业在提交前要经过这么多的转换逻辑。里面的实现细节我们在下一次再讲!大家一定要把环境装好了!

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
5天前
|
流计算
Flink源码解析
Flink源码解析
60 0
|
5天前
|
SQL 算法 API
读Flink源码谈设计:图的抽象与分层
前阵子组里的小伙伴问我“为什么Flink从我们的代码到真正可执行的状态,要经过这么多个graph转换?这样做有什么好处嘛?”我早期看到这里的设计时的确有过相同的疑惑,当时由于手里还在看别的东西,查阅过一些资料后就翻页了。如今又碰到了这样的问题,不妨就在这篇文章中好好搞清楚。
540 0
读Flink源码谈设计:图的抽象与分层
|
5天前
|
存储 消息中间件 缓存
读Flink源码谈设计:有效管理内存之道
在最初接触到Flink时,是来自于业界里一些头部玩家的分享——大家会用其来处理海量数据。在这种场景下,`如何避免JVM GC带来StopTheWorld带来的副作用`这样的问题一直盘绕在我心头。直到用了Flink以后,阅读了相关的源码(以1.14.0为基准),终于有了一些答案。在这篇文章里也是会分享给大家。
544 1
|
6月前
|
资源调度 流计算
Flink 指标参数源码解读(读取数量、发送数量、发送字节数、接收字节数等)(下)
Flink 指标参数源码解读(读取数量、发送数量、发送字节数、接收字节数等)(下)
89 1
|
5天前
|
Cloud Native Apache 流计算
福利「Flink Forward Asia 2023 」PPT 阅读合集!
福利「Flink Forward Asia 2023 」PPT 阅读合集!
2391 1
福利「Flink Forward Asia 2023 」PPT 阅读合集!
|
5天前
|
分布式计算 网络安全 流计算
Flink【环境搭建 01】(flink-1.9.3 集群版安装、配置、验证)
【2月更文挑战第15天】Flink【环境搭建 01】(flink-1.9.3 集群版安装、配置、验证)
103 0
|
5天前
|
Java Linux 流计算
【极数系列】Flink环境搭建&Docker版本(04)
【极数系列】Flink环境搭建&Docker版本(04)
106 3
|
5天前
|
Java Linux 网络安全
【极数系列】Flink环境搭建&Linux版本 (03)
【极数系列】Flink环境搭建&Linux版本 (03)
59 2
|
5天前
|
存储 SQL API
读Flink源码谈设计:流批一体的实现与现状
在Dataflow相关的论文发表前,大家都往往认为需要两套API来实现流计算和批计算,典型的实现便是Lambda架构。
585 0
|
5天前
|
存储 算法 Java
读Flink源码谈设计:Exactly Once
将Flink应用至生产已有一段时间,刚上生产的时候有幸排查过因数据倾斜引起的Checkpoint超时问题——当时简单的了解了相关机制,最近正好在读Flink源码,不如趁这个机会搞清楚。 在这里,我们首先要搞清楚两种Exactly-Once的区别: - Exactly Once:在计算引擎内部,数据不丢失不重复。本质是通过Flink开启检查点进行Barrier对齐,即可做到。 - End to End Exactly Once:这意味着从数据读取、引擎处理到写入外部存储的整个过程中,数据都是不丢失不重复的。这要求数据源可重放,写入端支持事务的恢复和回滚或幂等。
535 0

相关产品

  • 实时计算 Flink版