flink-cdc pg支持多并发启动 然后变为增量后并发度变为1,其他slot回收 吗?我看oracle sqlserver mysql支持这些配置 pg说明文档中没写?
Flink CDC目前尚不支持 PostgreSQL 数据库的多并发导入。尽管Flink提供了多种配置选项来支持多种数据库源,包括MySQL、Oracle和SQL Server,但尚未针对 PostgreSQL 提供并发导入的功能。因此,您只能在一个SourceReader中读取并处理一个PostgreSQL数据库的所有变更数据。
但是,在您描述的情况下,您可以考虑使用分片或多个Flink Job来分割数据集,并让每个Job单独处理一部分数据。这样您可以在不同的Job之间共享资源,并可以实现一定程度上的并发度控制。
同时,在Flink文档中并未明确指出是否支持并发度改变和slot回收。您可以查阅相关的官方文档或社区讨论区,了解是否有相应的扩展插件或其他解决方案可供使用。
Flink CDC在处理不同的数据库时,对于多并发启动和增量后的并发度处理方式可能会有所不同。对于PostgreSQL,刚启动Flink CDC时,由于不是读取的binlog,而是全表扫描,因此可以支持多并行度。但是,当进入增量同步阶段后,便转变为单并行度。至于其他slot回收的问题,目前PostgreSQL相关的文档中并未明确提及。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。