开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中mysql也是那样,但是oracle 没有指定位点拉取,同步完后该怎么办呢?

Flink CDC中mysql也是那样,但是oracle 没有指定位点拉取,要是datax同步过程中 source有变化了的数据,同步完后该怎么办呢?

展开
收起
真的很搞笑 2023-12-19 08:07:22 47 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC同步过程中,如果源数据发生了变化,可以采取以下步骤处理:

    1. 使用Flink CDC的checkpoint机制。Flink CDC支持基于检查点的故障恢复,能够快速恢复数据同步的进度。因此,如果在同步过程中源数据发生了变化,可以通过重启同步任务来重新捕获变化的数据。

    2. 使用Flink CDC的全量+增量模式。Flink CDC不仅支持增量同步,还支持全量/全量+增量的同步。如果源数据的变化非常大,可以考虑先进行一次全量同步,然后再进行增量同步。

    3. 结合其他数据处理工具。例如,可以先将变化的数据写入到消息队列中,然后通过Flink CDC消费消息队列中的数据进行同步。

    2023-12-19 20:23:28
    赞同 展开评论 打赏
  • 如果目前端基于主键更新的就不怕。 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-19 16:19:14
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
    PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
    Oracle云上最佳实践 立即下载

    相关镜像