开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink数据同步过程中发生错误,怎么保证作业重启后从这个时间点之前传递?

Flink数据同步过程中发生错误,怎么保证作业重启后从这个时间点之前传递?保证数据的完整性

展开
收起
-Feng、冯冯 2024-05-08 21:59:07 24 0
1 条回答
写回答
取消 提交回答
  • 作业错误,一般是发生Failover ,解决错误点后,重启作业默认是从上次成功的 checkpoint 位点恢复,下游使用幂等的结果表,数据追上最终结果是正确的,如果任务 failed 了,要看 failed 前有没有成功的 checkpoint 位点,手动重启时从状态恢复,使用幂等类型的结果表同上,如果产生错误,首先查看原因,解决错误,最后根据有状态重启作业。此回答整理自钉群“实时计算Flink产品交流群”

    2024-05-09 08:33:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Flink峰会 - 李佳林 立即下载
Flink峰会 - 徐榜江 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载