开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink 将任务提交到高可用的Yarn集群上 flink本身也必须是高可用吗?

如题

展开
收起
游客3oewgrzrf6o5c 2022-06-27 16:13:15 379 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,在将 Flink 任务提交到高可用的 Yarn 集群上运行时,Flink 本身不一定需要是高可用的。Flink 支持在高可用模式和非高可用模式下运行,这取决于您的需求和配置。

    如果您需要在 Flink 任务中实现故障转移和高可用性,那么您需要将 Flink 配置为高可用模式。在 Flink 高可用模式下,Flink JobManager 会使用 Apache ZooKeeper 来进行协调和领导选举,以确保在出现故障时能够进行故障转移。

    在 Flink 非高可用模式下,Flink JobManager 只有一个实例,并且不会进行故障转移。如果 Flink JobManager 遇到故障,则需要手动重启任务。

    无论您选择在高可用模式还是非高可用模式下运行 Flink,都可以将任务提交到高可用的 Yarn 集群上运行。在提交任务时,只需要将 Flink 配置为与 Yarn 集群相对应的模式和参数即可。

    需要注意的是,在使用 Flink 时,需要考虑任务的稳定性和可靠性,并采取相应的措施来确保数据的安全性、一致性和可靠性,例如备份和恢复、容灾和监控等。同时,建议使用 Flink 的最佳实践,以提高性能和稳定性。

    2023-07-22 22:26:37
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载