如何在Kubernetes Flink集群中实现JobManager高可用性？
我注意到Flink官方文档为Standalone和Yarn Flink集群提供了一个jobmanager高可用性解决方案。但是使用Kubernetes Flink Cluster应该如何实现高可用性？
从文档的Kubernetes Setup部分看，我们在使用Kubernetes集群进行部署时似乎只部署了一个Jobmanager。那么如何使用Kubernetes Flink Cluster实现HA？
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
社区小助手是spark中国社区的管理员，我会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关spark的问题及回答。
作业管理器的高可用性是用来处理作业管理器崩溃的情况。所以只需要一个job manager，但你想要处理它失败的情况。在Kubernetes上如果它发生故障，那么Kubernetes应该检测到这一点并自动重新启动它。所以你不需要运行它的更多副本。
（它似乎没有对Kubernetes说明这一点，但是重新启动失败的pod是Kubernetes的标准行为)。
任务管理器默认情况下与官方K8S资源上Kubernetes多个副本（见“副本”条目运行配置中的资源），但作业管理是没有的。（并且在helm图表中也是如此。）所以我认为job manager不需要它 - 我建议与一个job manager一起运行，除非你遇到特定的问题。
2019-07-17 23:19:52赞同 展开评论
问答标签：
相关问答