flink on yarn 如何实现HA

已解决

我们目前是使用的flink1.6.1 和2.8.1版本的hadoop,实验过程中发现正在运行的flink job会出现taskmanager丢失失去所有的slot的情况,所以想添加HA配置,但是有两个疑问:
1.flink on yarn的HA 是不是只有在jobmanager进程重启的时候才会触发,重新启动一个jobmanager并重新申请资源,如果jobmanager没有变化但taskmanager丢失,会不会为job重新申请计算资源
2.image
这是在官网上HA的描述,请问如果没有使用yarn-session的方式,直接提交jar包,可以使用HA吗?
希望大佬可以帮忙解答,万分感谢!

展开
收起
flink小小白 2019-01-24 18:07:32 3611 分享 版权
1 条回答
写回答
取消 提交回答
  • 采纳回答

    问题1:flink HA是在JM failover时发挥其作用,重启JM但会保持TM存活,有需要(例如过程中有TM failover)才会重新申请资源,没有需要则不会。JM不变TM丢失的场景跟HA无关,JM会重新申请资源
    问题2: session和perjob两种方式都支持HA

    2019-07-17 23:26:50
    赞同 1 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理