开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教下各位大佬,Flink CDC 中Oracle补充日志设置,可以只设置单表吗?还是这两个都要设置

问题1:请教下各位大佬,Flink CDC 中Oracle补充日志设置,可以只设置单表吗?还是这两个都要设置?image.png 问题2:我刚才试了一下,就是单独开表的补充日志,报错提示我要开库的补充日志。然后我单独开库的补充日志,又提示我要开单表的补充日志。我这试出来的结论,是必须先开库的补充日志,才能单独开各表的补充日志,是不是我验证的步骤有啥问题呢大佬

展开
收起
cuicuicuic 2023-07-02 17:27:51 93 1
3 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,针对 Oracle 数据库的补充日志设置,你可以选择只为单个表设置,也可以选择为整个数据库开启补充日志。这取决于你的具体需求和场景。

    如果你只希望为某些特定的表开启补充日志,你可以使用 ALTER TABLE 命令来为这些表单独设置。例如:

    -- 为单个表开启补充日志
    ALTER TABLE table_name ADD SUPPLEMENTAL LOG DATA;
    
    -- 为多个表开启补充日志
    ALTER TABLE table1 ADD SUPPLEMENTAL LOG DATA;
    ALTER TABLE table2 ADD SUPPLEMENTAL LOG DATA;
    

    注意,在使用单独表设置补充日志时,需要确保表已启用了主键或唯一约束,以便正确记录补充日志。

    如果你希望为整个数据库开启补充日志,你可以通过执行以下操作来设置:

    -- 开启整个数据库的补充日志
    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
    

    根据你提供的信息,你尝试了先开启单独表的补充日志,然后又提示你需要开启整个库的补充日志。请确保你按照要求先开启整个库的补充日志,然后再为单独的表设置补充日志。这是因为在单独表设置补充日志之前,整个库需要启用补充日志来正确记录相关的变更数据。

    2023-07-30 09:46:52
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    面分别介绍这两种情况的设置方式。
    设置单个表的补充日志
    如果您只需要读取单个表的数据变更,可以只设置该表的补充日志。具体设置方式是,在 Oracle 数据库中执行以下 SQL 语句,以启用该表的补充日志:
    Copy
    ALTER TABLE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
    在上述语句中, 表示要启用补充日志的表名。执行该语句后,Oracle 数据库会在表中记录所有的数据变更操作,并将其写入到补充日志中。Flink CDC 可以读取这些补充日志,并将其转换为 Flink 数据流进行处理。
    需要注意的是,启用补充日志可能会对数据库性能产生一定的影响,特别是在数据变更量较大的情况下。因此,建议您在启用补充日志时,根据实际情况进行调整,以确保系统的稳定性和性能。
    设置整个数据库的补充日志
    如果您需要读取整个数据库的数据变更,可以设置整个数据库的补充日志。具体设置方式是,在 Oracle 数据库中执行以下 SQL 语句,以启用整个数据库的补充日志:
    Copy
    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
    在上述语句中,ALL 表示启用所有的数据变更操作,并将其写入到补充日志中。执行该语句后,Oracle 数据库会记录整个数据库中的所有数据变更操作,并将其写入到补充日志中。Flink CDC 可以读取这些补充日志,并将其转换为 Flink 数据流进行处理。

    2023-07-30 09:46:35
    赞同 展开评论 打赏
  • 回答1:可以针对某些表开启归档日志,也可以整库开启。看你自己需求。,此回答整理自钉群“Flink CDC 社区”

    2023-07-02 17:35:45
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载