备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink Session 模式下任务提交流程是怎样的

Flink Session 模式下任务提交流程是怎样的

展开
收起
一人吃饱，全家不饿 2021-01-05 22:27:15 1632 0
1 条回答
写回答
取消 提交回答
  • 一人吃饱，全家不饿
    1. 当用户提交作业的时候，提交脚本会首先启动一个 Client 进程 负责作业的编译与提交
    2. Client 将编译产生的 JobGraph 提交到已存在的集群中执行
    3. ResourceManager 选择到 空闲的 Slot 之后，就会通知相应的 TM "将该 Slot 分配分 JobManager XX "，然后 TaskExecutor 进行相应的记录后，会向 JobManager 进行注册。JobManager 收到 TaskExecutor 注册上来的 Slot 后，就可以实际提交 Task 了
    4. TaskExecutor 收到 JobManager 提交的 Task 之后，会启动一个新的线程来执行该 Task。
    2021-01-05 22:27:23
    赞同 展开评论 打赏
问答分类：
流计算 实时计算 Flink版
问答标签：
实时计算 Flink版任务 实时计算 Flink版模式 实时计算 Flink版session 实时计算 Flink版流程 实时计算 Flink版模式流程
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关产品：
实时计算 Flink版

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
想问下我这边Flink在keyby之后数据还是有的，但是到后面的流程里数据就没有了，这是什么原因？
37
1
0
Flink CDC临时新增一个batch任务对于线上的变更来说，还是有一些额外的风险。流程也很长？
23
2
0
flink1.17的session集群为什么启动不起来呢？
40
1
0
Flink CDC里flink yarn session 模式中这个操作怎么做？
20
1
0
flinkcdc3.0支持flink session运行吗？
13
0
0
Flink CDC图中这个流程，建表会报错有没什么参数配置可以解决？
20
1
0
请问一下Flink session模式中的这个的CPU不能配置request和limit吗？
29
1
0
Flink CDC1.14 on k8s，session模式中的这个不能配置吗？
19
1
0
Flink使用session 执行 select 语句的时候 报以下这个错误是为啥？
62
3
0
Flink为什么在把测试数据写到OSS文件的时候，Session集群任务成功了，但查不到数据呢？
31
4
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关产品

  • 实时计算 Flink版
    文档详情 产品详情

    • 热门讨论

    热门文章

  • flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？
    258
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    1525
  • 哪位大佬有遇到过Flink这个问题呢？同步pg的时候，是不是类冲突了，所以导致抓不到这个类？
    1254
  • Flink-CDC 文档网站地址是什么？
    18073
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
    593
  • 使用Flink CDC，生产环境要申请的服务器如何评估
    675
  • flink1.15启动后无法访问webui的问题有人遇到过吗
    9626
  • 请问flink-connector-jdbc在sink时，如何设置批量写入？
    2136
  • flink web UI 是不是本身不支持登录认证，必须通过nginx来加登录认证？
    481
  • flink cdc，读取datetime类型，全都变成了时间戳，怎么解决？下游是可以解决。但是我想知
    664
    • 展开全部
  • Flink+Paimon+Hologres 构建实时湖仓数据分析
    71434
  • 数据仓库介绍与实时数仓案例
    40012
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
    22040
  • 实时计算 Flink SQL 核心功能解密
    18521
  • 阿里云实时计算产品案例&解决方案汇总
    24268
  • Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析
    17664
  • 运维场景下的实时计算应用
    6846
  • Flink: 实时规则引擎助力新零售发展
    9644
  • Apache Flink 漫谈系列(06) - 流表对偶(duality)性
    9278
  • Flink on YARN（下）：常见问题与排查思路
    18084
    • 展开全部

    相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
    582
    29
    去学习
  • Apache Flink 入门到实战 - Flink开源社区出品
    1392
    16
    去学习
  • 实时计算 Flink 版产品入门与实操
    3806
    10
    去学习
  • 开源 Flink 极速上手教程
    1752
    7
    去学习
  • 大数据实时计算框架Spark快速入门
    778
    93
    去学习
  • Apache Flink 入门
    4826
    9
    去学习

    • 相关文章

  • [尚硅谷flink] 水位线
  • [尚硅谷 flink] 基于时间的合流——双流联结
  • [尚硅谷flink学习笔记] 实战案例TopN 问题
  • [尚硅谷 flink] 状态管理 笔记
  • [尚硅谷flink] 检查点笔记

    • 相关电子书

    更多
    • Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
    26
    1.0小时
    去实验
  • 基于Flink+Tair搭建实时监控大屏
    35
    1.0小时
    去实验
  • 5分钟上手Flink MySQL连接器
    220
    1.0小时
    去实验
  • 使用Flink实时发现最热Github项目
    835
    1.0小时
    去实验
  • 使用PolarDB-X与Flink搭建实时数据大屏
    185
    1.0小时
    去实验
  • XXL-JOB零改造迁移
    853
    1.0小时
    去实验