开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC程序都需要打包到flink集群去执行来保证高可用吗?

Flink CDC程序都需要打包到flink集群去执行来保证高可用吗?

展开
收起
cuicuicuic 2023-10-10 18:56:07 94 0
3 条回答
写回答
取消 提交回答
  • Flink CDC程序可以打包到Flink集群中执行,也可以在本地机器上运行。但是,为了保证高可用,建议将Flink CDC程序打包到Flink集群中执行,因为这样可以利用Flink的高可用性特性,例如自动重启、故障转移等,从而提高系统的可用性和稳定性。
    在Flink CDC中,可以使用Flink的job server来部署和管理Flink作业,从而实现作业的高可用。job server可以自动检测和处理Flink作业的故障,从而保证Flink作业的高可用性。

    2023-10-19 16:20:46
    赞同 展开评论 打赏
  • 在Flink CDC程序中,如需要保证程序的高可用性,通常需要将程序打包到Flink集群中去执行。这是因为Flink的作业是运行在集群上的,通过集群的高可用性机制来保证作业的稳定运行。如果将程序部署在单个机器上,一旦机器故障,程序就会停止运行,无法保证高可用性。
    另外,将程序打包到Flink集群中还可以方便地进行水平扩展,提高程序的处理能力。通过增加Flink集群中的节点数量,可以将任务分布到更多的机器上,从而提高程序的处理速度和处理能力。
    将程序打包到Flink集群中执行并不意味着程序的高可用性就得到了保证。在Flink集群中,也需要通过一系列的措施来保证程序的高可用性,例如使用Flink的故障恢复机制、设置任务的重试策略、使用Zookeeper等高可用性服务等。

    2023-10-11 10:44:05
    赞同 1 展开评论 打赏
  • 生产集群,测试本地就行,此回答整理自钉群“Flink CDC 社区”

    2023-10-11 10:15:41
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载