开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

问下大佬们就是flink upsert kafka sink 删除数据的时候是只能收到null值吗?

问下大佬们就是flink upsert kafka sink 删除数据的时候是只能收到null值吗,那这种的话我这边如何判断是删除了哪条数据呢?

展开
收起
滴滴滴~ 2023-03-21 14:32:34 345 0
2 条回答
写回答
取消 提交回答
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    是的,要想判断是删除了哪条数据,可以在发送到 Kafka Sink 之前在 Flink 应用程序中记录一些元数据,比如时间戳、原始数据的 key 或其他标识符等信息。然后在 Kafka Sink 中,可以根据元数据来确定是哪条数据被删除了。

    2023-03-21 18:19:13
    赞同 展开评论 打赏
  • upsert–kafka作为消费者的时候依据主键会给你最终的数据,不必关注历史版本。 此答案整理自钉群“Flink CDC 社区”

    2023-03-21 16:44:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载