开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC是否支持oracle的整库同步?

Flink CDC是否支持oracle的整库同步?

展开
收起
cuicuicuic 2023-11-07 08:05:08 82 0
4 条回答
写回答
取消 提交回答
  • 开源flink-cdc目前本身不支持,可以参考第三方工具,此回答整理自钉群“Flink CDC 社区”

    2023-11-08 07:41:07
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 支持 Oracle 整库同步。可以通过以下步骤实现:

    1. 首先,在 Flink CDC 中配置 Oracle 数据源,指定要同步的目标表。
    2. 接着,在 Flink CDC 中添加同步任务,并启动任务。
    3. 最后,可以在 Flink CDC 中监控同步进度,并检查同步结果。

    在实现整库同步的过程中,需要注意以下几点:

    1. 如果表数量较多,可以考虑分批进行同步,以减轻同步压力。
    2. 如果表结构复杂,可以考虑在同步前先做好充分的设计和规划。
    3. 在同步过程中要注意性能问题,适当调整 checkpoint 间隔等参数,以提高同步速度。
    2023-11-07 14:28:22
    赞同 展开评论 打赏
  • Flink CDC是支持Oracle数据库的整库同步的。它通过读取Oracle数据库的事务日志(Redo Log)来实现Change Data Capture(CDC)功能,从而实现高效、可靠的数据同步。对于长时间运行的大事务,Flink CDC提供了完善的处理机制,会将长事务拆分成多个小事务进行同步,以避免事务过长导致的同步延迟和性能问题。同时,Flink CDC还支持事务的顺序保证,可以确保同步的数据顺序与源数据库中的事务顺序相同。因此,Flink CDC可以实现Oracle数据库的整库同步。

    2023-11-07 10:04:03
    赞同 展开评论 打赏
  • 目前仅支持从MySQL到Hologres的数据同步。https://help.aliyun.com/zh/flink/user-guide/data-synchronization-templates?spm=a2c4g.11186623.0.i30

    Flink CDC支持数据的实时同步和表结构变更的自动同步。您可以使用数据同步模版帮您快速生成数据同步的Flink SQL作业代码。本文为您介绍如何使用多库多表同步或者分库分表合并模版实现数据同步。

    背景信息
    Flink全托管支持多库多表同步和分库分表合并两种数据同步方式,二者的区别请参见下表。
    image.png

    2023-11-07 08:41:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
    PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
    Oracle云上最佳实践 立即下载

    相关镜像