开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC实时版中,支持flink cdc 采集 sql 是 CDAS语法,没有开源是吗?

Flink CDC实时版中,支持flink cdc 采集 sql 是 CDAS语法,支持动态加库和schema 变更,有 including 的配置,但在 flink sql 官方文档中没看到这个配置项,这部分是阿里云产品实现了,没有开源是吗?动态加表

展开
收起
真的很搞笑 2023-11-22 08:14:57 81 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,阿里云提供的 Flink CDC 实时版支持动态加库和 schema 变更。其中包括一个名为 “including”的配置项,可以让您动态添加表到 CDC 实时流中。但是这个功能并不是 Apache Flink 开源版本的一部分,而是由阿里云的产品团队独立开发的。
    如果您想使用开源版本的 Flink CDC 实现实时流处理,需要自行实现类似的功能。一种可能的方法是在源代码级别实现动态添加表的功能,或者使用其他开源工具(如 Debezium)来实现实时流处理。

    2023-11-29 14:33:40
    赞同 展开评论 打赏
  • cdc一开始就是开源出来的,阿里云自己做了cdc的部分,比如腾讯云那边也是自己做了。你可以理解,云厂商自己做了自己定制化的定西,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 11:03:11
    赞同 1 展开评论 打赏
  • Flink CDC是Flink提供的一种数据同步工具,主要用于采集数据库的变更数据。在Flink 1.11版本开始,它开始支持CDC功能,并且同时支持Table & SQL两种形式,这样用户就可以使用SQL的形式编写实时任务,并对CDC数据进行实时解析同步。

    关于您提到的including配置项,我在Flink的官方文档中确实没有找到相关信息。然而,Flink社区开发了flink-cdc-connectors组件,这是一个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。该组件提供了基于查询和基于Binlog两种方式的CDC,能支持动态加表和schema变更。

    2023-11-22 09:14:32
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载