开发者社区 > 大数据与机器学习 > 正文

请教各位一个问题,我使用Flink CDC同步MYSQL数据到Elasticsearch,当我停掉F

请教各位一个问题,我使用Flink CDC同步MYSQL数据到Elasticsearch,当我停掉Flink后,在MYSQL中删除数据,再启动Flink CDC job,这时候Elasticsearch中存在脏数据,没有删除掉MYSQL中已经删除了的数据,这种情况有遇到的吗?

展开
收起
真的很搞笑 2023-04-26 15:41:01 115 0
1 条回答
写回答
取消 提交回答
  • 你停了Flink任务再去MySQL删,Flink CDC还咋读到你删除的binlog?重启Flink任务后读全量,ES自然会存在所谓的“脏数据”,此回答整理自钉群“Flink CDC 社区”

    2023-04-27 16:10:55
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 检索分析服务 Elasticsearch版
  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载