Flink CDC 的 startoption 设置为 initial ,然后运行一段时间后,从 sp 重启,为什么会再进行一次全量快照操作?MySQL , CDC。经过测试,我严重怀疑这个SP有问题,因为其他的 task 相同设置都是OK的,只有这一个 task,从最后一个 sp 起来会这样。其他的 task 都可以根据 sp 的状态来继续。但是这个 SP 启动没有任何异常提示,我也是第一次遇到这个问题。增量数据。它不应该是跟着 cdc 在 sp 的状态来继续处理吗?我没理解错吧?一个 task 不对吗?我看好像所有的并行度都是1哎。包括容器副本都是1.
不是,每个 task 对应不同的数据源,但是设置都是一样的,操作其他几个task 的时候没遇到这个问题。但是这个 task 好像每次启动会从头加载,因为设置的是 initial。但是明明是有 sp 的呢?有没有人遇到过将 start mode 设置为 initial,运行一段时间后,从 sp 启动又重头读的问题?给点排查方向也行。现在是从SP启动后,直接从头读取,暂不确定原因,我正在做数据差异对比,不行就清空 SP,重新做一个新的SP了。好像不需要修改启动模式吧?我看官网写的是只需要完善tableList,我这么做是OK的,没改过其他任何代码
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。