开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这种情况下有is_delete处理方案么?

Flink CDC这种情况下有is_delete处理方案么? is_delete 软删除字段。使用Flink-CDC同步Mysql[upsert模式]数据到Hudi,然后基于Hudi建设湖仓[MERGE_ON_READ],采用的flink-sql计算,分ods、dwd、dim、dws、ads计算,分2种情况
1、Mysql中有部分数据,CDC同步之前就存在数据,这个使用使用cdc同步,+I 模式
2、实时同步,这个时候来了一条数据,后端将mysql业务库的is_delete字段进行了软删除,0->1。 对应为 -U +U.
-- 对于这个 is_delete 字段有啥好的处理方案么? 如果后端进行硬删除就没这个问题

展开
收起
真的很搞笑 2024-07-10 13:03:39 21 0
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载