楼主你好,在将 Flink 任务提交到高可用的 Yarn 集群上运行时,Flink 本身不一定需要是高可用的。Flink 支持在高可用模式和非高可用模式下运行,这取决于您的需求和配置。
如果您需要在 Flink 任务中实现故障转移和高可用性,那么您需要将 Flink 配置为高可用模式。在 Flink 高可用模式下,Flink JobManager 会使用 Apache ZooKeeper 来进行协调和领导选举,以确保在出现故障时能够进行故障转移。
在 Flink 非高可用模式下,Flink JobManager 只有一个实例,并且不会进行故障转移。如果 Flink JobManager 遇到故障,则需要手动重启任务。
无论您选择在高可用模式还是非高可用模式下运行 Flink,都可以将任务提交到高可用的 Yarn 集群上运行。在提交任务时,只需要将 Flink 配置为与 Yarn 集群相对应的模式和参数即可。
需要注意的是,在使用 Flink 时,需要考虑任务的稳定性和可靠性,并采取相应的措施来确保数据的安全性、一致性和可靠性,例如备份和恢复、容灾和监控等。同时,建议使用 Flink 的最佳实践,以提高性能和稳定性。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。