开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC对于oracle表,只抽取增量数据,这样的配置可以吗?

Flink CDC对于oracle表,只抽取增量数据,这样的配置可以吗?image.png

展开
收起
真的很搞笑 2023-11-15 08:51:09 143 0
2 条回答
写回答
取消 提交回答
  • 月移花影,暗香浮动

    是的,Flink CDC可以抽取oracle表的增量数据。Flink CDC是一个基于Debezium实现的CDC连接器,支持从Oracle数据库中读取数据的增量变化。借助Flink CDC,您可以构建基于Oracle数据库的实时数据流处理应用程序。

    在配置过程中,需要注意的是,Flink CDC需要与Oracle数据库进行集成,因此您可能需要配置相应的连接信息。此外,为了抽取增量数据,您需要在创建源表时指定--scan-startup-mode incremental参数。

    然而,根据官方文档说明,可能存在一些连接问题,例如Flink CDC可能将连接信息中的MY_SERVICE_NAME(Oracle的服务名)误认为SID。如果遇到此类问题,建议仔细阅读Flink CDC涉及到Oracle Connector的源码以找出问题所在并进行相应的调整。

    2023-11-15 16:46:09
    赞同 展开评论 打赏
  • 可以的,FlinkCDC对于Oracle表,只抽取增量数据的配置是可以的。在配置中,需要设置debezium.log.mining.strategyonline_catalog,并启用增量快照功能。同时,需要设置scan.incremental.snapshot.enabledtrue

    2023-11-15 08:59:58
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
    PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
    Oracle云上最佳实践 立即下载

    相关镜像