开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里边不能两个cdc的监听union到同一个视图里边,然后一起做关联吗?

Flink CDC里边不能两个cdc的监听union到同一个视图里边,然后一起做关联吗?

展开
收起
cuicuicuic 2023-12-10 20:53:05 33 0
3 条回答
写回答
取消 提交回答
  • 在Flink CDC中,目前不能直接将两个CDC监听的数据流通过Union操作合并到同一个视图中,并进行关联操作。这是因为Flink CDC的设计初衷是通过单个CDC任务监听单个数据源,来实现数据变更的捕获和处理。

    2023-12-18 22:18:27
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC主要用于监听数据库表的变化,包括插入、更新和删除操作。要监听视图的变化,您需要在数据库层面进行配置,因为Flink CDC本身并不直接支持这种功能。然而,Flink CDC确实支持将来自同一个实例下的多个库的变更流式地同步到同一个应用程序中。这可以通过使用DataStreamSource方式来实现,允许同时监听多个实例和多个库。

    在Flink环境中,一张表可以被多个应用程序同时监听。这些应用程序可以使用相同的CDC Connector连接到同一个数据源,并监听同一个表的变更日志。当源表发生变更时,所有的应用程序都会收到相应的变更事件,并进行相应的处理。

    2023-12-11 16:33:01
    赞同 展开评论 打赏
  • 可以是可以,但是状态会越来越大,直到ttl时间内的最大值 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-11 11:57:56
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载