AI 助理
备案控制台
开发者社区 问答 正文

FlinkOnYarn集群部署是推荐使用yarn-session模式所有任务共用一个

FlinkOnYarn集群部署是推荐使用yarn-session模式所有任务共用一个，还是推荐使用preJob模式每个任务起一个小集群？*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-08 11:03:24 838 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • EXCEED

    通常使用 preJob 模式的更多，考虑点主要是资源隔离，缺点是作业需要等到 JM/TM 启动后才能运行（作业启动速度会慢一些），session 模式刚好相反，你需要评估你们的场景。*来自志愿者整理的flink

    2021-12-08 11:15:49
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版
问答标签：
Yarn任务 Yarn模式任务 Yarn模式 flinkonyarn Yarn
问答地址：
开发者社区 > 大数据 > 问答
相关问答
dataworks部分定时任务显示任务异常退出，但是上yarn上显示任务运行成功这个是什么原因呢？
95
1
0
flink cdc3中，用flink standalone集群，我如何将这个任务提交到yarn上呢？
582
2
0
在Flink CDC中， 3.x版本也不支持任务提交yarn？
67
1
0
flink on yarn 集群跑cdc任务突然报这个错误，集群连不上了 这是什么问题呢？
115
1
0
大佬，Flink中你那个资源申请不到怎么解决的？那个配置，任务还是yarn，你那边给的多少呢
248
2
0
在Flink CDC中怎么通过yarn-session方式提交yaml的cdc任务？
439
1
0
我使用flink on yarn启动了一个任务模式 怎么看这个会话的资源被当前任务占用了多少？
82
1
0
咨询各位一个问题，我们之前的 Flink 任务是放在 Yarn 上的，运行就可以了吗？
74
0
0
有没有用FlinkOnYarn的模式配置yarn的CGroup 做cpu隔离成功了的？
71
0
0
E-MapReduce有时候遇到 跑hive 任务 跑着 yarn 节点就掉了 如何排查问题？
207
1
0