开发者社区> 问答> 正文

Upsert Kafka 的format 为什么要求是INSERT-ONLY的?

Hi all, 最近在测试Upsert Kafka,在验证的过程中,发现Validation的时候要求format的changelog-mode 必须是insert-only的,请问这是什么原因呢。 如果不是的话,请直接指正我,谢谢。*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-01 14:36:16 684 0
1 条回答
写回答
取消 提交回答
  • 当初的设计是基于kafka的compacted topic设计的,而compacted

    topic有自身的表达changelog的语法,例如:使用value 为 null 表示tombstone

    message。从这个角度出发的话,我们仅从kafka的角度去理解数据,而非从format的角度去解析数据。

    这当然引入了一些问题,例如当利用upsert-kafka读取数据的时候需要维护一个state以记住读取的所有的key。*来自志愿者整理的flink邮件归档

    2021-12-01 15:15:59
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载