Flink CDC里dlink 整库同步 支持字段变更吗 ?flink 任务 运行过程中,source 表 添加了一个字段,能获取到,然后同步到sink表中是吧?
Flink CDC的dlink整库同步确实支持字段变更。它不仅可以支持整库同步,还可以自动同步表结构变更,即使涉及到表字段级别的修改,如字段类型更改、字段名字更改删除添加等,都可以轻松应对。此外,基于Flink CDC,我们还可以快速构建MySQL到Doris的Streaming ELT作业,整库同步、表结构变更同步和分库分表同步等功能一应俱全。
至于Flink任务运行过程中,如果source表添加了字段,是否能获取到并同步到sink表中。Flink SQL支持CDC模式的数据同步,当source表中的字段发生变化时,通过Flink SQL可以实时地采集、预计算、并同步到sink表中。这得益于Flink的Table API和SQL支持,它们可以将源表的变更自动同步到目标表中。
具体来说,当我们使用Flink SQL进行数据同步任务时,只需在代码中编写对应的SQL语句,Flink会自动捕获源表的结构变化(包括字段的添加、修改和删除等),并将这些变化应用到目标表中。同时,无论是批输入还是流式输入,Flink都能保证查询具有相同的语义,得到相同的结果。
综上所述,Flink CDC的dlink整库同步不仅支持字段变更,还能在Flink任务运行过程中自动获取源表的结构变化并同步到sink表中。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。