开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CdC 中的 source 支持这个吗?

Flink CdC 中的 source 支持 debezium.schema.exclude.list 参数吗? 不生效。source oracle 配置了 "'table-name' = 'xxx' 应该只监控这张表的变化。现在是所有实例下的表都会监控。16ef8eb148c1207cee5b95a28261c318.png配置为String sourceTable = "CREATE TABLE oracle_cdc_source_z00r ( \r\n"

            + "ID BIGINT,\r\n"
            + "Z00R_SEQUENCE STRING,\r\n"
            + "Z00R_DOC_NUMBER STRING,\r\n"
            + "Z00R_FIELD_CODE STRING,\r\n"
            + "Z00R_ALPHA STRING,\r\n"
            + "Z00R_TEXT STRING,\r\n"
            + "PRIMARY KEY(ID) NOT ENFORCED\r\n"
            + ") WITH (\r\n"
            + "'connector' = 'oracle-cdc',\r\n"
            + "'connect.timeout' = '30000',\r\n"
            + "'hostname' = 'xxx',\r\n"
            + "'port' = '1521',\r\n"
            + "'username' = 'CDCTEST',\r\n"
            + "'password' = 'xxx',\r\n"
            + "'database-name' = 'HELOWIN',\r\n"
            + "'schema-name' = 'CDCTEST',\r\n"
            + "'scan.startup.mode' = 'initial',\r\n"  //snapshot.mode = initial 快照包括捕获表的结构和数据。指定此值将用捕获表中数据的完整表示填充主题。
                                                      //snapshot.mode = schema_only 快照只包含捕获表的结构。如果希望连接器仅捕获快照之后发生的更改的数据,请指定此值
            //在Flink CDC中,scan.startup.mode设置为initial模式会执行一个全量快照,也就是从指定的Oracle表中读取整个表的数据,并将其作为初始快照。这种方式可以确保在启动Flink CDC作业时,能够获得完整的表数据。然而,如果设置了initial选项,但是没有读取到历史数据,可能的原因是数据源中并没有历史数据,即数据源中的数据都是新生成的。此外,即使成功执行了全量快照,通过对表记录的修改操作后,如果没有正确配置,可能无法捕捉到相应的修改。
            + "'scan.incremental.snapshot.enabled' = 'false',\r\n"  //启用增量快照扫描功能,即只扫描自上次扫描以来发生变化的数据 
            + "'scan.incremental.snapshot.chunk.size' = '404800' ,\r\n" // 80960 404800 每个分片的条数 当读取表的快照时,表快照捕获的表的块大小(行数)
            + "'scan.snapshot.fetch.size' = '102400',\r\n" // 读取表快照时每次读取数据的最大条数。
            + "'debezium.log.mining.strategy' = 'online_catalog',\r\n"
            + "'debezium.log.mining.archive.destination.name' = 'log_archive_dest_ftss_z00r',\r\n"
            + "'debezium.log.mining.continuous.mine'='true',\r\n"
            + "'debezium.database.tablename.case.insensitive'='false',\r\n"
             + "'debezium.schema.include.list'='CDCTEST',\r\n" 
             + "'debezium.schema.exclude.list'='ANONYMOUS,APEX_030200,APEX_PUBLIC_USER,APPQOSSYS,BI,CTXSYS,DBSNMP,DIP,EXFSYS,FLOWS_FILES,HR,IX,MDDATA,MDSYS,MGMT_VIEW,OE,OLAPSYS,ORACLE_OCM,ORDDATA,ORDPLUGINS,ORDSYS,OUTLN,OWBSYS,OWBSYS_AUDIT,PM,PUBLIC,SCOTT,SH,SI_INFORMTN_SCHEMA,SPATIAL_CSW_ADMIN_USR,SPATIAL_WFS_ADMIN_USR,SYS,SYSMAN,SYSTEM,WMSYS,XDB,XS$NULL',\r\n"  //无此参数
             + "'debezium.table.include.list'='CDCTEST.FDU01_Z00R',\r\n" //无此参数
            + "'debezium.schema-name'='CDCTEST',\r\n" //无此参数
            + "'table-name' = 'FDU01_Z00R')";怎么看有没有限制。

展开
收起
小小鹿鹿鹿 2024-05-01 08:55:46 12 0
1 条回答
写回答
取消 提交回答
  • 可以看下config。你看看debezium的参数有没有限制。一般debezium的include 和exclude 不能同时使用的。去debezium看。此回答来自钉群Flink CDC 社区 。

    2024-05-01 13:01:46
    赞同 2 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载