开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink-cdc pg支持多并发启动 然后变为增量后并发度变为1,其他slot回收 吗?

flink-cdc pg支持多并发启动 然后变为增量后并发度变为1,其他slot回收 吗?我看oracle sqlserver mysql支持这些配置 pg说明文档中没写?

展开
收起
cuicuicuic 2023-11-22 08:17:05 23 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC目前尚不支持 PostgreSQL 数据库的多并发导入。尽管Flink提供了多种配置选项来支持多种数据库源,包括MySQL、Oracle和SQL Server,但尚未针对 PostgreSQL 提供并发导入的功能。因此,您只能在一个SourceReader中读取并处理一个PostgreSQL数据库的所有变更数据。
    但是,在您描述的情况下,您可以考虑使用分片或多个Flink Job来分割数据集,并让每个Job单独处理一部分数据。这样您可以在不同的Job之间共享资源,并可以实现一定程度上的并发度控制。
    同时,在Flink文档中并未明确指出是否支持并发度改变和slot回收。您可以查阅相关的官方文档或社区讨论区,了解是否有相应的扩展插件或其他解决方案可供使用。

    2023-11-29 14:15:41
    赞同 展开评论 打赏
  • Flink CDC在处理不同的数据库时,对于多并发启动和增量后的并发度处理方式可能会有所不同。对于PostgreSQL,刚启动Flink CDC时,由于不是读取的binlog,而是全表扫描,因此可以支持多并行度。但是,当进入增量同步阶段后,便转变为单并行度。至于其他slot回收的问题,目前PostgreSQL相关的文档中并未明确提及。

    2023-11-29 13:56:57
    赞同 展开评论 打赏
  • 目前不支持的哈,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 11:52:17
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载