开发者社区 > 大数据与机器学习 > 正文

大佬们,有个Flink CDC问题。我提交一个计算总数的任务,然后算完以后,又重新开始计算?

大佬们,有个Flink CDC问题。我提交一个计算总数的任务,然后算完以后,又重新开始计算?image.png image.png 一直在循环算

展开
收起
真的很搞笑 2023-06-11 15:18:32 63 0
1 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,如果你提交一个计算总数的任务,然后任务完成后又想重新开始计算,你可以采取以下两种方式之一:

    重新提交任务:可以停止当前任务,然后重新提交相同的任务。这将导致 Flink 重新启动作业,并从头开始计算总数。
    使用有状态的计算:如果你想在任务计算过程中保留中间结果,并允许从上次离开的地方继续计算,可以使用 Flink 的有状态计算。通过将中间结果保存到状态后端(如 RocksDB、HDFS 等),任务可以在失败或重新启动后从保存的状态继续计算。
    选择哪种方式取决于你的具体需求和场景。如果你只需要简单地重新计算,可以选择重新提交任务。但如果你需要保留中间结果并支持容错性和恢复功能,那么有状态的计算可能更适合你的需求。

    2023-09-27 18:26:58
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载