Flink CDC我感觉奇怪的地方是在数据全量同步阶段可以解释为数据量大产生背压而出现任务失败。现在经过一天多同步,已经进入增量阶段,为啥还会失败?
在Flink CDC中,即使进入增量阶段,任务仍然可能出现失败的情况。这可能与以下因素有关:
因此,即使进入了增量阶段,仍然需要密切关注任务的运行状态和日志信息,及时发现和解决问题。如果任务仍然失败,可以查看日志信息、检查网络和数据库状态、优化数据处理逻辑等,以找出问题的具体原因并进行修复和调整。
Flink CDC在增量同步阶段失败可能有多种原因。一种可能的原因是MySQL CDC在做全量读到增量读的切换时,如果全量读是多并发,则在进入增量前要多等一个Checkpoint,来确保全量的数据已经写入到下游后再读取增量数据,从而保证数据的正确性。但是如果设置的Checkpoint间隔时间过大,例如20分钟,那么就会导致作业20分钟后才开始同步增量数据。
此外,还存在一种情况,即“增量同步阶段写入并行度强制为1”,即使默认并行度给到很高,但是由于只有一个subtask在写入,因此性能无法继续提升。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。