Flink 2.3 任务提交与架构模型:一次提交,七道手

简介: 本文深度解析Flink 2.3任务提交全流程:厘清Client、JobManager、TaskManager与外部组件的分工;详解7步提交链路(从StreamGraph到Task部署);对比Application/Session两种部署模式差异;剖析slot资源与四层并行度(算子/环境/客户端/系统级)的配平逻辑;并总结5大高频故障及避坑指南。

导读:flink run 一敲,作业就上去了——正因为提交太顺滑,多数人对「这中间发生了什么」没有概念。等到作业提交卡住、客户端 OOM、并行度不生效,才发现无从下手。这篇把 Flink 2.3 的任务提交链路和架构模型拆开讲:四个角色怎么分工、七步提交各产出什么、两种部署模式差在哪、slot 和并行度怎么配平。

一、为什么值得单独讲一次「提交」

平时开发,我们面对的是 StreamExecutionEnvironment 的链式调用;上了生产,面对的却是另一套东西——Dispatcher、JobMaster、ResourceManager、Slot、Deployment Mode。这两套词汇之间的翻译层,就是「提交」。

不理解提交链路,很多现象无法解释:为什么作业代码里设了并行度 3,线上跑的却是 10?为什么客户端进程会被撑爆?为什么 Application 模式下读不到本地文件?答案全都藏在从 main() 到 Task 的这条路上。

另外,Flink 2.3 这一代有个前提必须先说清:Per-Job 模式已经没了。它从 1.15 起被标记废弃,2.x 彻底移除,部署模式只剩 Application 和 Session 两种。老资料里的 yarn-cluster 单作业模式、run-application 与 run 的旧对比,在 2.3 上不再适用。

二、四个角色:谁在翻译,谁在安排,谁在干活

一个 Flink 集群里,通常有四类角色。

在这里插入图片描述

Client 是唯一读你 jar 包的角色。它执行 main(),把 DataStream 链式调用翻译成一张数据流图,连同依赖一起交给集群。注意:Client 不执行任何算子的业务代码,它只做「翻译 + 递交」。

JobManager 是中央协调者,内部再分三个组件,下一节细讲。

TaskManager 是 worker 进程,真正执行算子的地方。每个 TaskManager 进程按 taskmanager.numberOfTaskSlots(默认 1)切出若干 slot,Task 被调度进 slot 里跑,TaskManager 之间互相交换数据。

外部组件有三块:Resource Provider(Kubernetes / YARN / Standalone,决定容器从哪来)、高可用存储(ZooKeeper 或 K8s ConfigMap,JobManager 挂了靠它选主)、持久化存储(S3 / HDFS / NFS,checkpoint 与 savepoint 都写到这)。

一句话记住分工:四个角色里,只有 TaskManager 会真正跑你的算子代码,另外三个都在「安排」。

三、一次提交的七个步骤

在这里插入图片描述

第 1 步,客户端执行 main()。env.execute() 被调用之前,所有算子只是被记录下来,什么都不会跑。

第 2 步,生成 StreamGraph。这是逻辑图:节点是算子,边是数据流,还没有并行度信息。

第 3 步,压缩成 JobGraph。能把数据 1:1 直传的相邻算子会被合并成算子链(Operator Chain),JobGraph 是提交单元——jar 与依赖在这一步一起被上传。

第 4 步,Dispatcher 接单。Dispatcher 收到 JobGraph 后登记作业,并为它拉起一个专属的 JobMaster。

第 5 步,展开 ExecutionGraph。JobMaster 把 JobGraph 按并行度展开:一个并行度 100 的算子,对应 1 个 JobVertex、100 个 ExecutionVertex。这是调度单元。

第 6 步,申请并分配 slot。JobMaster 的 SlotPool 向 ResourceManager 要资源,ResourceManager 从 TaskManager 处确认可用 slot。

第 7 步,部署 Task。TaskManager 收到部署指令,拉起 Task 线程,算子开始处理数据,并向 JobMaster 回报状态、水位线与 checkpoint 确认。

三个产物对应三种视角:StreamGraph 是用户视角,JobGraph 是提交单元,ExecutionGraph 是调度单元。排查问题时,先分清你看到的是哪一层。

四、JobManager 内部的三驾马车

JobManager 是个进程名,里面有三个职责清晰的组件:

  • Dispatcher:集群的前台接待。接收提交、提供 REST 接口、Web UI,为每个作业拉起 JobMaster。它在集群生命周期内常驻。
  • ResourceManager:管 slot 的账房。收到 JobMaster 的 slot 请求后,向 Resource Provider 要容器、向 TaskManager 要 slot;作业结束,slot 归还,容器释放。
  • JobMaster:每个作业一个,作业结束就销毁。它持有这张作业的 ExecutionGraph,负责调度 Task、协调 checkpoint、处理故障重启。

这个设计的巧妙之处在于Dispatcher 和 ResourceManager 常驻,JobMaster 按作业生灭——所以同一个集群能同时跑多个互不干扰的作业,每个作业的故障也只影响自己的 JobMaster。

五、两种部署模式:main() 在哪跑

在这里插入图片描述

两种模式的差别归结为一个问题:main() 在客户端执行,还是在集群执行。

Application Mode:为每个应用单独起一个集群,main() 直接在 JobManager 上执行。它有个前提——用户 jar 已经预置在 Flink 发行版的 usrlib 目录里,这样启动和恢复时不用通过 RPC 分发依赖,速度更快。资源按应用隔离,应用结束集群就销毁。生产环境跑 K8s 或 YARN,默认选它。

Application 模式支持一个 main() 里提交多个作业:execute() 是阻塞的,作业按顺序跑;executeAsync() 不阻塞,作业并行跑。但要注意 2.3 的一条硬约束(FLIP-560):高可用只覆盖单流作业或多批作业的组合;而且默认情况下任何一个作业异常终止,整个应用连同其他作业都会被停掉——这个行为可以用 execution.terminate-application-on-any-job-terminated-exceptionally 调整。

Session Mode:集群先起、作业后到,多个应用共享同一批 TaskManager。优点是省掉反复起集群的开销,适合开发调试和 SQL 即席查询;代价是故障扩散——一个作业把 TaskManager 搞挂,同 TM 上的所有作业一起遭殃,恢复时还会同时争抢文件系统。CLI 提交时 main() 在客户端执行;通过 REST 的 /jars/:jarid/run-application 提交时,main() 也可以在集群执行,兼顾两者。

六、slot 与并行度:三个数字怎么配平

在这里插入图片描述

slot 是资源单位,pipeline 是占位单位。一个 slot 里能竖着叠好几条 pipeline:source、map、reduce 三个 subtask 共用同一个 slot,省掉跨线程的序列化开销。所以并行度 4 的作业,最少只需要 4 个 slot,不是 12 个。

正式说法:所需 slot 总数等于各 SlotSharingGroup 内最大并行度之和。TaskManager 的数量不改变这个总数,只决定它怎么被切分。

并行度有四个层级,就近覆盖:

// 算子级:最优先
stream.keyBy(...).sum(1).setParallelism(5);

// 环境级:程序默认
env.setParallelism(3);
# 客户端级:提交时覆盖
./bin/flink run -p 10 ./app.jar

# 系统级:config.yaml 里的 parallelism.default,默认 1

优先级从高到低:算子级 > 环境级 > 客户端级 > 系统级。注意客户端 -p 会覆盖代码里的 env.setParallelism——这解释了开头那个「代码写 3、线上跑 10」的现象。

还有个容易忽视的参数是 max-parallelism:从 savepoint 恢复时可以改并行度,但上限就是它。默认约为算子并行度的 1.5 倍,下限 128、上限 32768。它决定 key-group 的划分数量,设太大会拖累状态性能,恢复时改动则直接不兼容。

七、命令行里的日常操作

# 提交(detached 提交完立即返回)
./bin/flink run --detached ./app.jar

# 指定目标:YARN / K8s 的 application 模式
./bin/flink run --target yarn-application ./app.jar
./bin/flink run --target kubernetes-application ./app.jar

# 动态传参,不用改配置文件
./bin/flink run -Dpipeline.max-parallelism=120 ./app.jar

# 查看、优雅停止、取消
./bin/flink list
./bin/flink stop --savepointPath /tmp/sp $JOB_ID
./bin/flink cancel $JOB_ID

stop 比 cancel 优雅:它让 checkpoint barrier 从 source 流向 sink,走完一次 savepoint 再停。如果打算永久下线作业,加 --drain——它会在最后发出 MAX_WATERMARK,把窗口里攒的数据全部冲出来;但如果以后还要从 savepoint 恢复,不要 drain,否则水位线被推到最大,恢复后的窗口语义就错了。

flink info 值得一用:打印作业的优化后执行图,提交前先看一眼拓扑,很多问题在本地就能发现。

八、五个高频坑

坑一:客户端 OOM。Session 模式下 CLI 提交大 jar,main() 在客户端执行,下载依赖、生成 JobGraph 全在这一个进程里。依赖上 GB 时,给客户端也留够内存。

坑二:-p 静默覆盖。上线脚本里历史遗留的 -p 10,会让你代码里所有 env.setParallelism 失效。排并行度问题时先看提交命令。

坑三:Application 模式下的路径。main() 搬到了集群上执行,registerCachedFile() 注册的本地路径必须在 JobManager 可达,写 ./conf/xxx 这种相对路径会直接找不到。

坑四:slot 不足时提交挂起。Session 集群 slot 被占满,新作业不是失败而是等待。看到提交后一直 SCHEDULED 不 RUNNING,先查 flink list 和 slot 占用。

坑五:作业 suspended 不等于结束。HA 场景下 JobManager 挂掉,作业进入 suspended 态——它只是在这台 JobManager 上终结了,另一个 JobManager 会从 HA 存储把作业捞回来重启。日志里看到 suspended 不用急着人工干预,先看有没有新实例接管。

九、写在最后

Flink 的架构模型一句话能说完:Client 翻译,JobManager 安排,TaskManager 干活。但展开来,三个产物、三个内部组件、两种部署模式、四层并行度,每一层都有自己的一套行为。

下一篇我们沿着这条链路往下钻,讲 JobManager 与 TaskManager 之间的调度细节和 slot 分配策略——那才是资源调优的正面战场。
安排,TaskManager 干活**。但展开来,三个产物、三个内部组件、两种部署模式、四层并行度,每一层都有自己的一套行为。

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
目录
相关文章
|
数据采集 存储 分布式计算
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
29545 2
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
|
26天前
|
人工智能 中间件 Java
LangChain 到底是什么:从链式连接到 Agent 运行时,讲透 v1.0 的核心概念
LangChain 是大模型应用开发框架,非单纯API封装。v1.0聚焦Agent工程化:以`create_agent`为核心,基于LangGraph实现可持久化、可中断、可观测的智能体循环;统一模型接口、强化工具描述、分层记忆管理,并通过中间件支持人工介入、摘要压缩与隐私脱敏,推动AI从“能跑”走向“可靠生产”。(239字)
335 1
|
22天前
|
存储 运维 监控
Flink 快速入门之 Flink 代码编写注意点
本文详解Flink 2.3中十类高频生产隐患,按**提交期、运行期、运维期**三阶段归因:从序列化边界、类型识别、泛型推断,到状态TTL、Timer约定、迟到处理、Async I/O陷阱、uid强约束、Checkpoint落盘等,每条均配避坑写法与原理剖析,助你告别“一周一炸”,打造稳定三年的流作业。
217 1
|
17天前
|
缓存 资源调度 Java
Flink TaskManager 作用:只做计算的那个进程
Flink TaskManager非“从节点”,而是唯一执行用户代码的核心进程。其OOMKilled多因内存配置失当——managed memory超限被内核强杀,日志无堆栈。根本在于厘清八段内存账、slot隔离边界与资源配比逻辑。(239字)
207 1
|
19天前
|
SQL 安全 Java
Flink SQL 之 Table API 原理及代码实现:从表达式体系到内部执行流程与实战最佳实践
本文深入解析Flink Table API——SQL的类型安全替代方案。涵盖本质定义、八大操作分类、六步执行流程、Expression表达式体系,并通过完整代码演示其优势:编译期校验、IDE友好、动态构建能力强。附六大坑点与八条最佳实践,助Java团队高效开发。
213 2
|
23天前
|
消息中间件 监控 Kafka
一条流跑起来要过三关:Flink 2.3 流处理代码骨架
本文深入解析Flink流处理核心机制,聚焦时间语义(水位线)、状态管理(TTL与容错)和端到端一致性(Exactly-Once写入)三大生死关键。基于Flink 2.3实测,覆盖Source/Sink配置、算子链优化、窗口语义、Checkpoint调优及上线硬约束,助你写出稳定、低延迟、可恢复的生产级流作业。
229 0
|
24天前
|
消息中间件 分布式计算 Kafka
Flink 的对手换了:三条分野,重排实时计算选型
本文深度剖析2026年Flink与Spark等流处理方案的本质差异,摒弃过时对比表,聚焦**执行模型、状态归属、交付形态**三大分野,直击选型核心:不是“谁更强”,而是“哪种复杂度你付得起”。
262 0
|
28天前
|
SQL Java API
Apache Flink 2.3 概述:一条流,两种边界,一套引擎
本文深度解析 Apache Flink 2.x 架构演进:从 2025 年 2.0 大版本(分离式状态、Java 17、API 彻底重构)到 2026 年 2.3(原生 S3、物化表 DDL 补全、SQL 变更流),厘清流批统一本质,拆解 JobManager/TaskManager、算子链、Checkpoint 四柱支撑,并直击升级痛点与生产落地场景。(239字)
260 0
|
1月前
|
SQL 安全 Java
深入理解Scala可变参数函数:从Java数组语法到优雅集合传递
Scala可变参数(`T*`)本质是`Seq[T]`(如`WrappedArray`),支持直接传数组、列表等任意序列,只需`:_*`展开;而Java可变参数仅为`T[]`语法糖,仅接受数组或隐式转数组,不支持List等集合。Scala更函数式、更灵活、类型安全。
79 0
|
1月前
|
分布式计算 Java 编译器
深入理解Scala模式匹配:结构化解构
Java的`switch`仅支持基本类型、字符串、枚举的**值相等匹配**,需手动`break`防穿透;而Scala的`match`是**结构化模式匹配**——可解构样例类、元组、集合、类型,支持守卫、变量绑定与编译期穷尽检查,本质是从“值判断”跃升为“数据形状识别”。
74 0