开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 的 startoption 设置为 initial ,这是什么情况?

Flink CDC 的 startoption 设置为 initial ,然后运行一段时间后,从 sp 重启,为什么会再进行一次全量快照操作?MySQL , CDC。经过测试,我严重怀疑这个SP有问题,因为其他的 task 相同设置都是OK的,只有这一个 task,从最后一个 sp 起来会这样。其他的 task 都可以根据 sp 的状态来继续。但是这个 SP 启动没有任何异常提示,我也是第一次遇到这个问题。增量数据。它不应该是跟着 cdc 在 sp 的状态来继续处理吗?我没理解错吧?一个 task 不对吗?我看好像所有的并行度都是1哎。包括容器副本都是1.
不是,每个 task 对应不同的数据源,但是设置都是一样的,操作其他几个task 的时候没遇到这个问题。但是这个 task 好像每次启动会从头加载,因为设置的是 initial。但是明明是有 sp 的呢?有没有人遇到过将 start mode 设置为 initial,运行一段时间后,从 sp 启动又重头读的问题?给点排查方向也行。现在是从SP启动后,直接从头读取,暂不确定原因,我正在做数据差异对比,不行就清空 SP,重新做一个新的SP了。好像不需要修改启动模式吧?我看官网写的是只需要完善tableList,我这么做是OK的,没改过其他任何代码

展开
收起
小小鹿鹿鹿 2024-04-15 20:42:36 21 0
1 条回答
写回答
取消 提交回答
  • jira提一下92b713cda08f5751455d1312f586763a.png启动方式不可修改。此回答来自钉群Flink CDC 社区。

    2024-04-15 22:00:45
    赞同 3 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载