大佬们,有个Flink CDC问题。我提交一个计算总数的任务,然后算完以后,又重新开始计算?

大佬们,有个Flink CDC问题。我提交一个计算总数的任务,然后算完以后,又重新开始计算?image.png image.png 一直在循环算

展开
收起
真的很搞笑 2023-06-11 15:18:32 101 分享 版权
1 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,如果你提交一个计算总数的任务,然后任务完成后又想重新开始计算,你可以采取以下两种方式之一:

    重新提交任务:可以停止当前任务,然后重新提交相同的任务。这将导致 Flink 重新启动作业,并从头开始计算总数。
    使用有状态的计算:如果你想在任务计算过程中保留中间结果,并允许从上次离开的地方继续计算,可以使用 Flink 的有状态计算。通过将中间结果保存到状态后端(如 RocksDB、HDFS 等),任务可以在失败或重新启动后从保存的状态继续计算。
    选择哪种方式取决于你的具体需求和场景。如果你只需要简单地重新计算,可以选择重新提交任务。但如果你需要保留中间结果并支持容错性和恢复功能,那么有状态的计算可能更适合你的需求。

    2023-09-27 18:26:58
    赞同 展开评论

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

还有其他疑问?
咨询AI助理