大佬们,有个Flink CDC问题。我提交一个计算总数的任务,然后算完以后,又重新开始计算? 一直在循环算
在 Flink CDC 中,如果你提交一个计算总数的任务,然后任务完成后又想重新开始计算,你可以采取以下两种方式之一:
重新提交任务:可以停止当前任务,然后重新提交相同的任务。这将导致 Flink 重新启动作业,并从头开始计算总数。
使用有状态的计算:如果你想在任务计算过程中保留中间结果,并允许从上次离开的地方继续计算,可以使用 Flink 的有状态计算。通过将中间结果保存到状态后端(如 RocksDB、HDFS 等),任务可以在失败或重新启动后从保存的状态继续计算。
选择哪种方式取决于你的具体需求和场景。如果你只需要简单地重新计算,可以选择重新提交任务。但如果你需要保留中间结果并支持容错性和恢复功能,那么有状态的计算可能更适合你的需求。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。