开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC用mysql cdc2.3跨坐同步,从任务启动10分钟内没有数据。什么原因?

Flink CDC用mysql cdc2.3跨坐同步,从指定时间戳5分钟前同步,任务表象是
1.任务启动10分钟内没有数据,10分钟后有数据进入。
2.运维告警,在我们任务启动后的10分钟左右专线带宽拉满了。
想问一下,mysql cdc从指定时间戳同步是不是会抽取数据源全量binkog到 cdc,然后cdc再根据时间戳进行过滤?跨云同步

展开
收起
真的很搞笑 2023-12-11 13:42:52 57 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC是一种基于流式数据同步的工具,可以将MySQL的binlog数据实时同步到其他数据源。当使用Flink CDC从指定时间戳同步时,它不会抽取全量数据源进行备份,而是根据指定的时间戳来过滤数据。具体来说,Flink CDC会从指定的时间点开始读取增量日志,并将这些增量日志应用到目标数据源中。

    对于您提到的问题:

    1. 任务启动后10分钟内没有数据,这可能是由于Flink CDC在启动初期正在读取并应用增量日志,或者是因为指定的时间戳之前的日志已经被处理过了。
    2. 运维告警显示专线带宽在任务启动后的10分钟左右被拉满,这可能是因为有大量的数据在这段时间内被同步。
    2023-12-12 15:44:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像