开发者社区 问答 正文

Upsert Kafka 的format 为什么要求是INSERT-ONLY的?

Hi all, 最近在测试Upsert Kafka,在验证的过程中,发现Validation的时候要求format的changelog-mode 必须是insert-only的,请问这是什么原因呢。 如果不是的话,请直接指正我,谢谢。*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-01 14:36:16 722 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 当初的设计是基于kafka的compacted topic设计的,而compacted

    topic有自身的表达changelog的语法,例如:使用value 为 null 表示tombstone

    message。从这个角度出发的话,我们仅从kafka的角度去理解数据,而非从format的角度去解析数据。

    这当然引入了一些问题,例如当利用upsert-kafka读取数据的时候需要维护一个state以记住读取的所有的key。*来自志愿者整理的flink邮件归档

    2021-12-01 15:15:59 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等