任务执行细节详见
简单使用了flink之后，接下来咱刨析下flink运行的原理
原理介绍
Flink运行组件
Flink是通过Java和Scala实现的 所以所有组件都运行在Java虚拟机上
- 作业管理器(JobManager)
- 控制一个应用程序执行的主进程 每个应用程序都会被一个不同的JobManager所控制执行
- JobManager会先接受到要执行的应用程序 这个应用程序会包括作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有类、库和其他资源的jar包
- JobManager会把JobGraph转换成一个物理层面的数据流图 这个图叫做执行图（ExecutionGraph） 包含了所有可以并发执行的任务
- JobManager 会向资源器 （ResourceManager）请求执行任务必要的资源 也就是任务管理器(TaskManager)上的插槽（slot） 一旦它获取到了足够的资源 就会将执行图分发到真正运行它们的TaskManager上。而在执行的过程中
- JobManager会负责所有需要中央协调的操作 比如检查点(CheckPoints)的协调
- 任务管理器（TaskManager）
- Flink中的工作进程 通过在Flink中会有多个TaskManager运行 每一个TaskManager会包含一定数量的slot插槽。插槽的数量限制了TaskManager能够执行的任务数量
- 在执行过程中 一个TaskManager可以和其他运行在同一应用程序的TaskManager交换数据
- 资源管理器(ResouceManager)
- 主要负责管理任务管理器（TaskManager）的插槽（slot） TaskManager插槽是Flink中定义的处理资源单元
- Flink为不同的环境和不同的资源管理工具提供了不同的资源管理器 比如 Yarn、Mesos、K8s、standalone部署
- 当JobManager申请插槽资源时 ResourceManager会将有空闲插槽的TaskManager分配给JobManager 如果ResourceManager没有足够的插槽来满足JobManager请求 还可以向资源提供平台发起会话 以提供启动TaskManager进程的容器 。ResourceManager还负责终止空闲的TaskManager 释放计算资源
- 分发器(Dispatcher)
- 可以跨作业运行 它为应用提交提供了Rest接口
- 当一个任务被提交时 分发器就会启动并将应用移交给一个JobManager
- Dispatcher也会启动一个Web UI 用来方便展示和监控作业执行信息
- Dispatcher在架构中可能不是必须的 取决于应用提交运行的方式
任务提交流程
- Flink 任务提交后
- Client 向 HDFS 上传 Flink 的 Jar 包和配置
- 之后向 Yarn ResourceManager 提交任务
- ResourceManager 分配 Container 资源并通知对应的 NodeManager 启动 ApplicationMaster
- ApplicationMaster 启动后加载 Flink 的 Jar 包和配置构建环境
- 然后启动 JobManager
- 之后 ApplicationMaster 向 ResourceManager 申 请 资 源 启 动 TaskManager
- ResourceManager 分 配 Container 资 源 后
- 由 ApplicationMaster 通 知 资 源 所 在 节 点 的 NodeManager 启 动 TaskManager
- NodeManager 加载 Flink 的 Jar 包和配置构建环境并启动 TaskManager
- TaskManager 启动后向 JobManager 发送心跳包，并等待 JobManager 向其分配任务
