开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC又从0初始化开始了 不应该是从ck地方续传么?

Flink CDC任务执行几十分钟 数据量传输有几百万了 而且ck保存也都成功 但不知道为啥cdc任务中间异常后整个record sent又从0初始化开始了 不应该是从ck地方续传么?image.png
image.png

展开
收起
真的很搞笑 2024-03-06 00:09:27 54 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC(Change Data Capture)任务在执行过程中,如果遇到异常导致任务中断,通常情况下会从上次成功捕获的位置重新开始,而不是从头开始。这是为了确保数据的一致性和完整性。

    如果你的CDC任务在异常后整个record sent从0初始化开始,可能有以下几种原因:

    1. 检查点(Checkpoint)未成功保存:CDC任务的恢复依赖于检查点的机制。如果检查点没有成功保存,或者在异常发生之前没有创建有效的检查点,那么任务可能会从头开始。

    2. 检查点存储问题:检查点的数据可能因为存储问题而损坏或丢失,导致无法从上次成功的位置恢复。

    3. 配置问题:检查CDC任务的配置,特别是与状态后端和检查点相关的配置。确保配置正确,并且状态后端可用。

    4. 网络问题:如果在检查点过程中网络不稳定,可能导致检查点数据传输失败。

    5. 任务重启策略:根据任务的重启策略,如果任务失败后立即重启,可能会尝试从头开始读取数据。

    6. 版本兼容性:确保使用的Flink CDC和MySQL的版本兼容,以及是否有已知的问题或补丁需要应用。

    7. 日志和监控:查看Flink和MySQL的日志文件,以及相关监控指标,以获取更多详细的错误信息和异常上下文。

    8. 社区支持:如果问题依然无法解决,可以考虑向Flink社区寻求帮助,可能有其他用户遇到过类似的问题并找到了解决方案。

    为了解决这个问题,你需要检查检查点的存储情况、任务配置、网络连接等,并根据日志和监控信息来定位问题的根本原因。如果一切正常,但问题仍然存在,可能需要进一步调查或寻求专业的技术支持。

    2024-03-08 22:34:51
    赞同 1 展开评论 打赏
  • 能加一下您的微信或者QQ请教一些问题么

    2024-03-08 15:33:29
    赞同 展开评论 打赏
  • 在历史数据同步阶段,最终加内存不报错,过了历史数据后再报错就不会有问题 ,此回答整理自钉群“Flink CDC 社区”

    2024-03-06 11:13:14
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载