开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有人用Flink CDC同步 Oracle 成功的吗?

有人用Flink CDC同步 Oracle 成功的吗?

展开
收起
真的很搞笑 2024-03-25 10:54:56 84 0
2 条回答
写回答
取消 提交回答
  • 如果是到单库,单表的话,oracle到mysql、oracle、sqlserver我测试都通了,到doris的话能同步多表
    -- 同步F360表
    $FLINK_HOME/bin/flink run \
    -Dexecution.checkpointing.interval=180 \
    -Dparallelism.default=1 \
    -c org.apache.doris.flink.tools.cdc.CdcTools \
    ./lib/flink-doris-connector-1.17-1.6.0-cdc-3.0.1.jar \
    oracle-sync-database \
    --database app_db \
    --oracle-conf hostname=192.168.9.100 \
    --oracle-conf port=1521 \
    --oracle-conf username=regenta \
    --oracle-conf password="regenta2017" \
    --oracle-conf database-name=REGENTA \
    --oracle-conf schema-name=REGENTA \
    --including-tables "SALELIST|SALELISTGOODS|CHANNEL|GOODS|MEMBERCARD|BUSINESSPERSON|SALETYPE_VW|BUSCH" \
    --oracle-conf debezium.database.history.store.only.captured.tables.ddl=true\
    --sink-conf fenodes=192.168.9.168:8030 \
    --sink-conf username=root \
    --sink-conf password="83320843"\
    --sink-conf jdbc-url=jdbc:mysql://192.168.9.168:9030 \
    --sink-conf sink.label-prefix=F360 \
    --table-conf replication_num=1
    你要注意表名大小写,这个配置是可以一个任务同时同步几个表的,用的是flink1.17.2,doris是2.0.6 ,此回答整理自钉群“【②群】Apache Flink China社区”

    2024-03-26 08:27:53
    赞同 展开评论 打赏
  • 将军百战死,壮士十年归!

    Flink CDC成功支持了从Oracle数据库到多种目标数据存储的实时数据同步。无论是同步到另一个Oracle数据库,MySQL数据库,还是StarRocks数据仓库,都已经验证是可以实现的。通过利用Debezium Oracle Connector和Flink的流处理能力,可以从Oracle数据库捕获变更数据,并实时传输到目标系统。

    要实现Oracle到其他系统的实时同步,需要完成以下步骤:

    1. 在Oracle数据库端启用归档日志模式,并配置补充日志,以便Debezium的LogMiner能够解析事务日志以获取变更数据。
    2. 设置Flink CDC连接器,配置Oracle CDC源,指定相关的数据库连接信息和其他参数。
    3. 在Flink SQL中编写数据同步的管道,定义源表和目标表的关系,以及数据转换规则(如果需要的话)。
    4. 对于表结构变化的处理,可能需要额外的手动同步步骤,或者通过相应的工具进行迁移。

    综上所述,Flink CDC已经成功实现了对Oracle数据库的CDC支持,并能够将数据实时同步到各种目标存储系统。在实际使用中,需要根据官方文档指导和最佳实践来配置和运行同步任务。

    2024-03-25 16:02:17
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像