Flink CDC有什么参数可以指定过滤哪些操作的么? 比如过滤删除操作的?

Flink CDC有什么参数可以指定过滤哪些操作的么? 比如过滤删除操作的?image.png

展开
收起
真的很搞笑 2023-10-18 16:55:18 498 分享 版权
2 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,你可以使用 Debezium Connector 提供的配置参数来指定过滤哪些操作。Dezbeium 是 Flink CDC 中用于捕获数据库变更的底层引擎,它支持一系列配置参数来控制捕获的操作类型。以下是一些常用的配置参数,可以帮助你过滤特定的操作类型,例如删除操作:

    1. database.history:此参数用于指定 Debezium Connector 用于追踪数据库历史变更的类。你可以自定义一个实现了 DatabaseHistory 接口的类,用于记录数据库的历史变更。在这个类中,你可以根据操作类型(包括删除操作)来决定是否记录历史变更。

    2. table.ignore.builtin:默认情况下,Debezium Connector 会忽略一些系统内置表的变更,比如 MySQL 中的 mysql 数据库。你可以通过设置此参数来控制是否忽略内置表的变更。

    3. table.exclude.list:此参数用于指定需要排除(过滤掉)的表。你可以通过设置一个正则表达式列表,来匹配需要排除的表的名称。如果你想要排除某些表的删除操作,你可以在这里设置正则表达式,使得匹配的表的删除操作不会被捕获。

    4. column.exclude.list:类似于 table.exclude.list,这个参数用于指定需要排除的列。你可以设置正则表达式,匹配需要排除的列的名称,以避免这些列的变更被捕获。

    需要注意的是,具体的参数名称和配置方式可能会因为使用的数据库和 Debezium 版本而有所不同。在实际使用时,建议查阅你所使用的 Debezium 版本的文档,以获取最准确的配置参数和使用方法。配置参数的详细信息通常可以在 Debezium 的官方文档或相关社区资源中找到。

    2023-10-22 08:52:40
    赞同 展开评论
  • 'debezium.skipped.operations' = 'd',此回答整理自钉群“Flink CDC 社区”

    2023-10-18 19:14:35
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理