我有一个问题,当我使用两个Flink CDC 的表进行join并进行聚合,flink 会维护所有两?

我有一个问题,当我使用两个Flink CDC 的表进行join并进行聚合,flink 会维护所有两张表的状态数据么?好的,谢谢。 但是我发现有一个 CDC 的实践(https://developer.aliyun.com/article/1167820)里使用到多张实时表进行Join,即使使用了压缩的 Kafka,那么对 ckp 的影响还是无法避免的。 请教一下你们在实践中会考虑什么样的方式来进行join,来得到近乎实时的结果视图呢?

展开
收起
真的很搞笑 2023-05-23 17:37:15 163 分享 版权
1 条回答
写回答
取消 提交回答
  • 会,但是一般都不这么做,不然你的ckp会越来越大,他这个是cdas语法整库同步,没有join,他是其他业务来join这个upsert-kafka的,你想做大宽表,你可以lookup join维表数据,此回答整理自钉群“Flink CDC 社区”

    2023-05-23 17:42:16
    赞同 展开评论

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

还有其他疑问?
咨询AI助理