开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 如何实现断点续传的功能呢?那如果是Flink任务报错崩掉的情况呢?

Flink CDC 如何实现断点续传的功能呢?那如果是Flink任务报错崩掉的情况呢?
尝试修改了参数 scan.startup.mode ,均未能达到目的:
【1】scan.startup.mode=initial,每次重启任务都会重新加载源表的所有数据(全量+binlog增量);
【2】scan.startup.mode=earliest-offset,每次重启任务都会加载binlog增量数据;
【3】scan.startup.mode=latest-offset,每次重启任务都会漏掉重启期间的增量数据;hdfs没推起来,目前Flink部署的是 standalone 集群模式

展开
收起
小小鹿鹿鹿 2024-04-23 22:34:41 39 0
1 条回答
写回答
取消 提交回答
  • 根据checkpoint或者savepoint重启。无状态重启肯定从头来。那也有checkpoint或者savepoint啊,这都持久化保存到dfs到。此回答来自钉群Flink CDC 社区。

    2024-04-23 22:48:10
    赞同 2 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载