Flink CDC实时版中,支持flink cdc 采集 sql 是 CDAS语法,支持动态加库和schema 变更,有 including 的配置,但在 flink sql 官方文档中没看到这个配置项,这部分是阿里云产品实现了,没有开源是吗?动态加表
是的,阿里云提供的 Flink CDC 实时版支持动态加库和 schema 变更。其中包括一个名为 “including”的配置项,可以让您动态添加表到 CDC 实时流中。但是这个功能并不是 Apache Flink 开源版本的一部分,而是由阿里云的产品团队独立开发的。
如果您想使用开源版本的 Flink CDC 实现实时流处理,需要自行实现类似的功能。一种可能的方法是在源代码级别实现动态添加表的功能,或者使用其他开源工具(如 Debezium)来实现实时流处理。
cdc一开始就是开源出来的,阿里云自己做了cdc的部分,比如腾讯云那边也是自己做了。你可以理解,云厂商自己做了自己定制化的定西,此回答整理自钉群“Flink CDC 社区”
Flink CDC是Flink提供的一种数据同步工具,主要用于采集数据库的变更数据。在Flink 1.11版本开始,它开始支持CDC功能,并且同时支持Table & SQL两种形式,这样用户就可以使用SQL的形式编写实时任务,并对CDC数据进行实时解析同步。
关于您提到的including配置项,我在Flink的官方文档中确实没有找到相关信息。然而,Flink社区开发了flink-cdc-connectors组件,这是一个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。该组件提供了基于查询和基于Binlog两种方式的CDC,能支持动态加表和schema变更。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。