开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问flinkcdc中我明明只监控了一张表,但是从日志上看,似乎添加了很多系统表,这个怎么控制?

51045dc21ab8a179e879bec7c9da9696.png
请问flinkcdc中我明明只监控了一张表,但是从日志上看,似乎添加了很多系统表,这个怎么控制?

展开
收起
十一0204 2023-07-19 18:09:57 49 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 中,如果在监控指定表的同时,出现了额外的系统表被添加到同步任务中,可能是因为 Flink CDC 在检测到某些系统表时,会自动将这些表添加到同步任务中,从而导致额外的数据被同步。
    如果需要避免这种情况,可以通过在 Flink CDC 的配置文件中指定排除系统表的方式,来控制同步任务的范围。具体来说,可以在配置文件中设置 table.ignore-list 参数,指定需要排除的系统表的名称和模式。例如:
    json
    Copy
    table.ignore-list = [
    {
    "database": "postgres",
    "table": "%_pkey"
    },
    {
    "database": "postgres",
    "table": "%_key"
    }
    ]
    这个配置将会排除所有以 _pkey 或 _key 结尾的表名,从同步任务中过滤掉这些系统表。
    需要注意的是,排除系统表可能会影响到某些同步任务的正确性和完整性,需要根据具体情况进行调整和优化。同时,也可以考虑使用 Flink CDC 提供的其他过滤器和转换器,来对同步的数据进行更精细的

    2023-07-29 19:44:46
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载