开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

各位好,请教一下 Flink 中我用的是upsert-kafka 为什么不支持 changelog?

各位好,请教一下 Flink 中我用的是upsert-kafka 为什么不支持 changelog呢?image.png

展开
收起
真的很搞笑 2023-05-23 18:51:03 199 0
1 条回答
写回答
取消 提交回答
  • 存在即是合理

    在 Flink 1.53 版本之前,upsert-kafka 不支持 changelog。如果使用 upsert-kafka 将数据写入 Kafka,则只有当在 Kafka 中插入或更新记录时,Flink 才会将其视为新记录并将其写入。如果尝试将现有记录更改为不同的值并再次写入 Kafka,则 Flink 将不会将其视为新记录,而是会将其视为更新记录。

    从 Flink 1.53 版本开始,upsert-kafka 支持 changelog。如果使用 upsert-kafka 将数据写入 Kafka,则无论您是在插入、更新还是删除记录时,Flink 都会将其视为新记录并将其写入。upsert-kafka 更适合处理具有复杂键和时间戳的实时数据流。

    2023-05-26 17:08:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载