开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC可以通过正则.*捕获新增表的数据了, 但是可以过滤掉DML操作吗?

Flink CDC用来master分支后, 可以通过正则.*捕获新增表的数据了, 但是可以过滤掉DML操作吗?建表语句这些我不想要image.png
image.png

展开
收起
cuicuicuic 2024-03-06 00:01:46 24 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC(Change Data Capture)是一个用于捕获数据库中的数据变更的工具,它可以捕获DML(Data Manipulation Language)操作,如INSERT、UPDATE和DELETE等。

    要过滤掉DML操作,你可以在Flink CDC的数据处理逻辑中添加相应的过滤条件。具体实现方式取决于你的业务需求和数据模型。以下是一些常见的过滤DML操作的方法:

    1. 根据变更类型过滤:在处理变更事件时,可以根据变更类型进行过滤。例如,如果只关心INSERT操作,可以忽略UPDATE和DELETE事件。

    2. 根据变更前后数据比较:通过比较变更前后的数据,可以判断是否为DML操作。例如,如果变更前后的数据相同,则可能是UPDATE或DELETE操作。

    3. 根据变更时间戳过滤:根据变更的时间戳信息,可以过滤掉在某个时间段内的DML操作。这需要你了解DML操作的时间戳规则。

    4. 使用自定义过滤器:你可以编写自定义的过滤器函数,根据特定的条件来过滤DML操作。这需要你对数据模型和业务逻辑有深入的了解。

    2024-03-08 22:38:55
    赞同 展开评论 打赏
  • 找下 includeSchemaChanges 这个方法设置成 false。 ,此回答整理自钉群“Flink CDC 社区”

    2024-03-06 11:06:19
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载