备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Yarn 中任务提交流程是怎样的

Yarn 中任务提交流程是怎样的

展开
收起
一人吃饱，全家不饿 2021-01-05 23:32:32 1119 0
1 条回答
写回答
取消 提交回答
  • 一人吃饱，全家不饿
    1. 用户在 Client 端提交任务后会先给到 Resource Manager。
    2. Resource Manager 会启动 Container，接着进一步启动 Application Master
    3. Master 节点启动之后，会向 Resource Manager 再重新申请资源
    4. Resource Manager 将资源分配给 Application Master 之后，Application Master 再将具体的 Task 调度起来去执行。
    2021-01-05 23:32:41
    赞同 展开评论 打赏
问答分类：
资源调度 实时计算 Flink版
问答标签：
Yarn任务 Yarn流程 Yarn提交
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
flink cdc3中，用flink standalone集群，我如何将这个任务提交到yarn上呢？
57
2
0
Flink CDC中通过yarn-per-job 其他任务都在ACCEPTED状态？
25
0
0
flink on yarn提交任务的时候发生了这个类转换异常的问题，yanr环境是cdh6.3.2？
142
1
0
Flink CDC里通过海豚调度器提交yarn任务报错怎么办？
33
0
0
yarn-session 直接 kill 集群会导致 flink 任务无法恢复吗？
27
1
0
Flink CDC 使用yarn-session的模式来提交任务，空间的资源会不会释放给yarn？
40
2
0
Flink CDC实时同步的任务一般也是放到yarn中执行吗？
19
1
0
Flink CDC采用flink on yarn跑cdc任务，container意外退出？
35
1
0
Flink CDC提交flink任务到yarn， 偶而报错，什么原因？
54
2
0
有个问题想请教一下flink为什么任务启动一直accepted状态?yarn的，有什么排查方向吗?
59
3
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

  • flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？
    295
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    1562
  • Caused by: org.apache.kafka.common.errors.TimeoutE
    2116
  • Flink-CDC 文档网站地址是什么？
    18090
  • flink1.15启动后无法访问webui的问题有人遇到过吗
    9643
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
    602
  • 使用Flink CDC，生产环境要申请的服务器如何评估
    684
  • "flink-cdc-connector-mysql，这个报错怎么解决的？
    1170
  • 现在flink消费kafka限速是怎么做的?
    290
  • Flink这个未授权访问漏洞有什么解决方案吗？
    362
    • 展开全部
  • 数据仓库介绍与实时数仓案例
    40031
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
    22049
  • OPPO数据中台之基石：基于Flink SQL构建实数据仓库
    20798
  • Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
    26147
  • 流计算StreamCompute
    18127
  • 通过Flink实时构建搜索引擎的索引
    16783
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
    21443
  • 阿里云实时计算产品案例&解决方案汇总
    24281
  • 流计算精品翻译: The Dataflow Model
    18517
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
    15875
    • 展开全部

    相关课程

    更多
  • Hadoop 分布式资源管理框架 YARN
    438
    5
    去学习

    • 相关文章

  • Hadoop节点扩容检查物理连接
  • 前端宝藏图：寻找技术之旅的星辰大海
  • R语言用贝叶斯层次模型进行空间数据分析
  • R语言收益率和波动性模拟股票价格COMP226带自测题
  • Spark架构

    • 相关电子书

    更多
    • 深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载