开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我想问的是,flinkcdc可否实现不同步删除的操作?

Flink CDC这边的业务数据了的某些表数据量达到一定的阈值会进行归档(把数据自动到另外一张表,但表名不固定,然后把源表里面的这部分数据删除),我想问的是,flinkcdc可否实现不同步删除的操作?

展开
收起
真的很搞笑 2023-12-05 20:45:19 99 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC是一个功能强大的开源项目,它可以实现从MySQL等数据库中实时同步数据变化,包括新增、更新和删除等操作。对于你的问题,Flink CDC确实支持在解析binlog时检测到删除操作并触发相应的删除逻辑。然而,如果Flink CDC作业未能正常消费对应的删除事件(例如由于网络问题或其他错误),那么源表中的数据可能会被删除,但结果表未被删除。

    2023-12-06 14:35:52
    赞同 展开评论 打赏
  • 看看debezium的参数,可以的,debezium.skippxxxx啥的 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-06 13:41:13
    赞同 展开评论 打赏
  • Flink CDC可以通过触发器或者自定义插件的方式来实现异步删除操作。

    1. 触发器:在数据库中创建一个触发器,当数据被归档后,触发器会自动删除源表中的数据。这样,删除操作就会发生在Flink CDC读取数据之后,实现了异步删除。

    2. 自定义插件:你可以为Flink CDC编写一个自定义插件,该插件会在数据被归档后,从源表中删除相应的数据。这样,删除操作就会发生在Flink CDC读取数据之后,实现了异步删除。

    需要注意的是,无论使用哪种方法,都需要确保Flink CDC能够正确处理删除操作产生的日志。例如,如果使用触发器,需要在触发器中生成适当的CDC日志,以便Flink CDC可以检测到数据的删除。

    2023-12-06 09:01:39
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载