开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中oracle cdc在全量同步的过程中有修改操作,发现修改的数据会丢失怎么解决?

Flink CDC中oracle cdc在全量同步的过程中有修改操作,发现修改的数据会丢失啊,全量阶段完成后再次修改就可以获取到,但是之前的丢了 ,怎么解决?

展开
收起
小易01 2023-07-24 21:52:37 152 0
2 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,当使用 Oracle CDC 进行全量同步时,如果在全量同步期间发生了修改操作,会导致数据丢失的问题。这是因为全量同步只捕获到变更之后的数据,并不能获取到已经发生的修改。

    解决这个问题的一种常见方法是,在进行全量同步之前,先将数据库表设置为只读模式,以确保在全量同步期间没有修改操作发生。可以通过以下方式来实现:

    1. 在开始全量同步之前,将 Oracle 数据库的表设置为只读模式。这样可以防止其他对该表的修改操作。

    2. 运行 Flink CDC 进行全量同步操作。Flink CDC 将捕获从设置只读模式开始到结束全量同步之间的所有数据变更。

    3. 全量同步完成后,将数据库表设置为可写模式,允许继续接收修改操作。

    通过将数据库表设置为只读模式,可以避免在全量同步期间发生的数据修改被覆盖或丢失。但请注意,将数据库表设置为只读模式可能会影响系统的正常运行,需要根据具体情况评估和权衡。

    2023-07-31 23:39:40
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    如果在 Flink CDC 的 Oracle CDC 全量同步过程中出现了修改数据丢失的情况,可能是由于以下原因导致的:
    Oracle CDC 全量同步默认只同步数据的最新版本,如果数据在全量同步期间被修改了多次,只有最新版本的数据会被同步,之前的版本会被忽略。这可能会导致一些修改操作丢失。
    Oracle CDC 全量同步期间可能会出现数据变更的“脏读”情况,即在同步过程中读取的数据可能已经被其他事务修改了,但这些修改的数据还没有被提交到数据库中,因此在全量同步过程中无法捕获到这些修改操作。
    针对上述问题,可以考虑以下解决方案:
    在进行 Oracle CDC 全量同步之

    2023-07-29 18:38:15
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像