开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里dlink 整库同步 支持字段变更吗 ?

Flink CDC里dlink 整库同步 支持字段变更吗 ?flink 任务 运行过程中,source 表 添加了一个字段,能获取到,然后同步到sink表中是吧?

展开
收起
小小鹿鹿鹿 2024-01-17 23:44:30 46 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC的dlink整库同步确实支持字段变更。它不仅可以支持整库同步,还可以自动同步表结构变更,即使涉及到表字段级别的修改,如字段类型更改、字段名字更改删除添加等,都可以轻松应对。此外,基于Flink CDC,我们还可以快速构建MySQL到Doris的Streaming ELT作业,整库同步、表结构变更同步和分库分表同步等功能一应俱全。

    至于Flink任务运行过程中,如果source表添加了字段,是否能获取到并同步到sink表中。Flink SQL支持CDC模式的数据同步,当source表中的字段发生变化时,通过Flink SQL可以实时地采集、预计算、并同步到sink表中。这得益于Flink的Table API和SQL支持,它们可以将源表的变更自动同步到目标表中。

    具体来说,当我们使用Flink SQL进行数据同步任务时,只需在代码中编写对应的SQL语句,Flink会自动捕获源表的结构变化(包括字段的添加、修改和删除等),并将这些变化应用到目标表中。同时,无论是批输入还是流式输入,Flink都能保证查询具有相同的语义,得到相同的结果。

    综上所述,Flink CDC的dlink整库同步不仅支持字段变更,还能在Flink任务运行过程中自动获取源表的结构变化并同步到sink表中。

    2024-01-18 14:41:16
    赞同 展开评论 打赏
  • 支持,但是支持的sink数据库不多,详细看官网。此回答来自钉群Flink CDC 社区。

    2024-01-18 10:35:09
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载