AI 助理
备案控制台
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

在Flink CDC中因为Mongo中数据存在删除操作，这种怎么处理呀？

在Flink CDC中使用Flink将Mongo数据同步至ADB，ADB表中用的是Mongo的默认id，目前看ADB的数据条数比Mongo要多，因为Mongo中数据存在删除操作，这种怎么处理呀？

展开
收起
花开富贵111 2024-07-15 16:00:12 43 0
1 条回答
写回答
取消 提交回答
  • 小Lee

    当MongoDB中的数据被删除，而这些删除操作没有被Flink CDC捕获时，ADB中的数据可能会比MongoDB多。可以考虑以下两种方案：

    配置MongoDB Change Stream：确保Flink CDC配置了跟踪MongoDB的完整操作，包括删除事件。这样，Flink作业可以同步删除操作到ADB。

    定期清理ADB：如果删除事件未被同步，可以定期运行清理任务，删除ADB中MongoDB中已不存在的记录。这通常需要在应用层或通过ADB的SQL语句实现。
    可参阅官方文档

    2024-07-15 16:04:35
    赞同 2 展开评论 打赏
问答分类：
流计算 实时计算 Flink版 云原生数据仓库 AnalyticDB PostgreSQL版
问答标签：
实时计算 Flink版数据 实时计算 Flink版CDC 实时计算 Flink版mongo 实时计算 Flink版cdc数据 实时计算 Flink版cdc mongo
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关产品：
实时计算 Flink版

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
在Flink CDC中我看日志监控到了，但是starrocks中并没有删除操作呢？
21
0
0
Flink上传自定义connector报错已存在同名连接器
28
1
0
在Flink定义了两个mongo table，这里的血缘展示两个mongo表是期望的吗？
17
1
0
在Flink CDC中，同步mongo数据到Doris，错误是什么原因吗？
32
1
0
在Flink CDC中双流join是不是只是支持插入 不支持更新和删除操作?
27
0
0
flink1.18 cdc mongo数据同步到upset-kafka请问是什么原因呢?
14
0
0
对于Flink CDC，从mysql到doris数据同步，同步位点信息存在哪里？
19
0
0
在Flink CDC中任务重启，从checkpoint恢复数据，binlog也存在，就是读取不到如何
29
0
0
在Flink CDC中重启任务时报了这个错，有一个表的binlog日志不存在，如何还能让任务正常跑？
60
1
0
在Flink CDC中存在晚上批量插入有大概30分支的流量高峰， 是否有参数可控制读取速率？
26
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关产品

  • 实时计算 Flink版
    文档详情 产品详情

    • 热门讨论

    热门文章

  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    2922
  • flink怎么能够快速消费kafka数据，需要设置什么参数呢？
    955
  • Flink sql将数组炸开，实现hive的explode函数的效果，还有什么其他好的方式？
    1142
  • 就是我在使用flink 将数据写入kafka 的时候出现错误，这个问题咋解决呀？
    493
  • Flink CDC 能适配达梦不？
    917
  • 请问flink-connector-jdbc在sink时，如何设置批量写入？
    2727
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
    1132
  • 我的也是flink1.7 连接kafka，接收kafka数据，不知道有啥影响?
    195
  • Slot request bulk is not fulfillable，20以上job同时部署失败
    304
  • 在Flink CDC中人大金仓可以兼容PG的wal2json和Decoderbufs插件不？
    180
    • 展开全部
  • 基于Flink和规则引擎的实时风控解决方案
    13100
  • Apache Flink 漫谈系列(05) - Fault Tolerance
    7445
  • 大数据情报第二期（2018-6-19）
    4077
  • Apache Flink 进阶（八）：详解 Metrics 原理与实战
    6183
  • 基于实时计算（flink）打造舆情分析平台——新华智云
    5049
  • 【阿里内部应用】基于Blink构建亲听项目以及全链路debug项目实时响应能力
    3691
  • 来！PyFlink 作业的多种部署模式
    4807
  • Ververica Platform-阿里巴巴全新Flink企业版揭秘
    5940
  • 必看！Apache Flink 运维&实战系列直播，揭秘生产环境技术难点
    3732
  • 一套 SQL 搞定数据仓库？Flink有了新尝试
    2920
    • 展开全部

    相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
    604
    29
    去学习
  • Apache Flink 入门到实战 - Flink开源社区出品
    1599
    16
    去学习
  • 实时计算 Flink 版产品入门与实操
    3997
    10
    去学习
  • 开源 Flink 极速上手教程
    1849
    7
    去学习
  • 大数据实时计算框架Spark快速入门
    992
    93
    去学习
  • Apache Flink 入门
    5088
    9
    去学习

    • 相关文章

  • Flink Forward Asia 2024 议题征集令｜探索实时计算新边界
  • 揭秘数据脱敏神器：Flink SQL的神秘力量，守护你的数据宝藏！
  • 奇迹降临！解锁 Flink SQL 简单高效的终极秘籍，开启数据处理的传奇之旅！
  • 大数据&AI产品月刊【2024年8月】
  • 一文带你聊聊《黑神话：悟空》底层的技术实现

    • 相关电子书

    更多
    • Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关实验场景

    更多
  • 使用Flink实时发现最热Github项目
    1025
    1.0小时
    去实验
  • 5分钟上手Flink MySQL连接器
    277
    1.0小时
    去实验
  • 基于Flink+Tair搭建实时监控大屏
    56
    1.0小时
    去实验
  • 基于Hologres+Flink搭建GitHub实时数据大屏
    66
    1.0小时
    去实验