开发者社区 问答 正文

关于upsert-kafka connector的问题,如何解决?

用 upsert-kafka connector 作为source,会有key的插入和更新出现乱序导致结果不准的问题吗?*来自志愿者整理的flink

展开
收起
毛毛虫雨 2021-12-05 21:57:43 835 分享 版权
1 条回答
写回答
取消 提交回答
  • 如果数据在upsert-kafka中已经做到了按序存储(相同key的数据放在同一个partition内),那么flink消费的时候可以做到保序。本质上,upsert-kafka是对kafka的封装,其内部仍然是一个消息队列,只是在消费的时候,我们形成一个视图。消息从flink进入到kafka之中,根据kafka的协议保证了at-least-once。如果还有问题,可以继续咨询!*来自志愿者整理的flink

    2021-12-05 22:44:01
    赞同 展开评论