Flink JobManager 作用:不做计算的那个角色

简介: 本文深度解析Flink 2.3中JobManager的架构与机制:它不执行计算,而是集群的中央协调者,由Dispatcher、ResourceManager、JobMaster三大组件协同工作,负责作业调度、资源分配、Checkpoint协调及高可用容灾。重点剖析其内存模型、HA原理、常见故障及2.3新特性。

导读:上一篇讲了客户端「翻译、递交、功成身退」,作业交出去之后,接住它的是 JobManager。值得搞清楚的是它内部的三层分工、每个作业一份的 JobMaster、checkpoint 的总指挥角色,以及那个经典问题——它挂了怎么办。这篇把 Flink 2.3 的 JobManager 拆开讲透。

一、它不做计算,它做决定

先给结论:JobManager 是 Flink 集群的中央协调者,负责调度与资源管理,但它不执行任何一条算子。

它每一分钟都在做四类决定:下一个 task 什么时候排、slot 给谁、checkpoint 什么时候触发、失败之后从哪里重启。数据从不经过它(除了极小状态下的 JobManagerCheckpointStorage),它管的只有「安排」和「账本」。

理解这个定位,很多现象就通了:为什么 JobManager 挂了数据不丢——checkpoint 都写在文件系统上;为什么它却常常是第一个撑不住的进程——所有作业的元数据、心跳、回调都压在它一个 JVM 里。

二、一个 JobManager 里,住着三个角色

在这里插入图片描述

JobManager 不是一个人在战斗,它是一个 JVM 进程里的三个组件:

Dispatcher:唯一的对外入口。 提供 REST 接口接收作业提交、托管 Web UI,并为每个提交的作业拉起一个 JobMaster。你平时在 8081 端口看到的那个页面,就是它提供的。

ResourceManager:管 slot 的账房先生。 它管理 Flink 集群的资源调度单元——task slot。不同资源提供者(Standalone、Kubernetes、YARN)各有自己的实现:K8s 和 YARN 下它能向集群要新的 TaskManager;Standalone 下它只能分配已有 TM 的 slot,要不了新的。

JobMaster:一个作业一个。 每个 JobGraph 对应一个 JobMaster,负责这单个作业的执行:把执行图按 pipeline region 切分、向 ResourceManager 申请 slot、调度 task、协调这个作业的 checkpoint。一个集群同时跑十个作业,就有十个 JobMaster——它们全部挤在同一个 JVM 里,共享一份堆、一套 Pekko RPC、一组线程池。这是后面所有「作业一多就卡」问题的物理根源。

右边是 TaskManager:启动后向 JobManager 注册并汇报空闲 slot(心跳默认 10 秒一次、50 秒超时),JobMaster 把 subtask 部署下去,真正的算子才开始跑。

三、作业跑起来之后,它每秒在决定什么

在这里插入图片描述

作业的运行期,就是上面五个决策不断循环的过程:

  1. 记账:ResourceManager 维护所有 TaskManager 的注册信息与空闲 slot 台账;
  2. 分槽:JobMaster 提出 slot 请求,SlotManager 匹配下发,等不到资源时按 jobmanager.adaptive-scheduler.submission.resource-wait-timeout(默认 5 分钟)超时降级或失败;
  3. 调度:JobMaster 按拓扑顺序把 task 部署到 slot 上;
  4. 打点:checkpoint 协调器周期性下发 barrier、汇总所有 task 的 ack、把完成回调跑完;
  5. 重启:task 失败后按 failover 策略决定重启范围。

两个配置决定这套循环的脾气。jobmanager.scheduler:不显式配置时,流作业用 Default 调度器,批作业默认走 AdaptiveBatch(按数据量动态决定并行度)。jobmanager.execution.failover-strategy:默认 region——只重启受失败影响的 pipeline region,而不是整个作业;Streaming 作业里 region 通常就是整条链,批作业则能显著缩小爆炸半径。

还有一个容易被忽略的细节:JobManager 的 io-pool(跑 checkpoint 的恢复与完成)和 future-pool(跑异步回调)默认都取 CPU 核数,且所有 JobMaster 共享。Session 集群里任何作业的 checkpoint 回调变慢,都会拖慢别人——排「CK 突然变慢」时,先看是不是有邻居作业在作妖。

四、checkpoint 的总指挥

JobManager 里的 checkpoint 协调器是精确一次语义的中枢:向 source 注入 barrier、等所有 task 确认、通知完成回调把状态句柄落盘。快照数据本身去哪,由 Checkpoint Storage 决定:

# 不配 checkpoint 目录时,走 JobManagerCheckpointStorage:
# 快照直接存进 JobManager 的堆里,单次默认上限 5 MB
execution.checkpointing.storage: filesystem      # 显式选文件系统存储
execution.checkpointing.dir: s3://bucket/flink/ck/

JobManagerCheckpointStorage 只适合本地调试;生产上必须配文件系统存储,否则快照会跟作业元数据一起挤爆 JobManager 的堆。checkpoint 元数据文件落在哪里、HA 模式下怎么冗余,全部由 JobManager 决定——这也是为什么「JobManager 内存」和「checkpoint 稳定性」经常是同一道题。

五、JobManager 挂了怎么办:一主多备 + 一份账本

在这里插入图片描述

默认一个集群只有一个 JobManager,这就是单点故障(SPOF)。HA 的思路很直接:任何时刻只有一个 leader 在干活,多个 standby 待命;账本放在共享存储上,谁上位谁接着记。

HA 服务封装了三件事:leader 选举(ZooKeeper 或 Kubernetes lease)、服务发现(对外暴露当前 leader 地址)、状态持久化(high-availability.storageDir 里存 JobGraph、用户 jar 和最近的 completed checkpoint)。切换时序是四步:检测(ZK session 或 K8s lease 到期)→ standby 选举上位 → 读账本 → TaskManager 重新注册,从最近 checkpoint 续跑。

high-availability.type: kubernetes          # 或 zookeeper / NONE(默认)
high-availability.cluster-id: /prod-flink   # 集群隔离标识
high-availability.storageDir: s3://bucket/flink/ha/

有两个容易踩的细节。其一,恢复时作业按「名字 + 提交顺序」匹配——HA 恢复要靠名字把新旧作业对上,多作业应用务必用 execute(jobName) 给每个作业起唯一名字,否则可能张冠李戴。其二,2.3 里 Application 概式成了 HA 的一等公民(FLIP-560):session 模式下未完成的 application 会自动重新执行,但 Application 模式的多作业 HA 仅支持「单个流作业」或「多个批作业」的组合,并且 execution.terminate-application-on-any-job-terminated-exceptionally 默认 true——executeAsync 并发跑的多个作业里有一个异常终止,整个应用连同其他作业一起停。

六、它的内存账本:谁在吃掉那几个 G

在这里插入图片描述

JobManager 不缓存数据,但它有三个稳定的内存消耗源:

  1. 作业数量 × 元数据。每个 JobMaster 都要持有一份执行图、执行计划和状态索引。Session 集群跑几十个作业,光元数据就很可观;
  2. JobManagerCheckpointStorage。不配 checkpoint 目录时快照直接进堆,单次默认 5 MB 上限挡不住积少成多;
  3. 回调里的用户代码。checkpoint 完成回调跑在 JobManager 的线程池里——在这里查库、放大对象、做重 IO,OOM 只是时间问题。

配置上一条原则:容器里只设 jobmanager.memory.process.size,其余(heap、off-heap 默认 128 MB、metaspace 默认 256 MB、overhead 10%)让 Flink 自己切;同时显式设置 heap 和 process.size 会在启动时报内存配置冲突。

七、2.3 的两个新变化

变化一:application 成为一等公民(FLIP-549)。 层级从 cluster → job 变成 cluster → application → job,REST API 新增 /applications/overview、/applications/:applicationid、POST /applications/:applicationid/cancel 等端点,JobResultStore / ApplicationResultStore 负责记录终态结果,归档按 cluster-id 与 application-id 组织。运维视角下,「看一个应用」比「翻一堆 job id」顺手得多。

变化二:调度更聪明、可观测。 批作业默认使用 AdaptiveBatch 调度器;adaptive scheduler 新增扩缩容历史记录(FLIP-495)与 Web UI 的 Rescales 页面(FLIP-487),可回看每次扩缩容的 slot 分配与耗时。配合 2.3 的恢复期间打快照(FLIP-547),JobManager 在反复扩缩容场景下的「失忆」问题基本被填平。

八、五个高频坑

坑一:Session 集群当全家桶。 一个 JobManager 管所有作业,一个邻居作业把堆撑爆,全集群陪葬。多租户场景拆 Session、上 Application 模式。

坑二:多作业没起名字。 HA 恢复按名字匹配,execute() 不带名字的作业恢复后可能对不上号。

坑三:checkpoint 没落盘。 忘配 execution.checkpointing.dir,快照全进 JobManager 堆,作业一大必 OOM。

坑四:把 JobManager 当小角色配资源。 默认 1 GB 出头的进程内存,跑几十个作业的元数据加回调根本不够。Session 集群的 JobManager 内存按「作业数 × 作业复杂度」给,别按「它不干活」给。

坑五:Standalone ResourceManager 当成 K8s 用。 Standalone 下它只能分配已有 slot,要不了新 TM——slot 不够不会自动扩,只会让作业干等。

九、写在最后

JobManager 的全部工作可以压缩成一句话:在正确的时间,把正确的决定写到正确的账本上。 三个组件分工——Dispatcher 管入口、ResourceManager 管槽位、JobMaster 管单个作业;五个决策循环——记账、分槽、调度、打点、重启;一套 HA 兜底——一主多备、账本外置。下一篇看 TaskManager 里 subtask 真正跑起来的样子。

目录
相关文章
|
5天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
6858 15
|
5天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2293 8
|
8天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
8天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
3天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
21天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
10170 59
|
4天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1047 0
|
7天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。
|
15天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
3482 9