"请问flinkcdc中哪个cdc读pg增量数据的问题解决了嘛?我这里还是不行,也没看到报错。即用stream api读pg的数据,读不到增量数据,但是用flink sql就可以。打jar包运行程序了没报错,正常ck 就是没有增量数据。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在 Flink CDC 中,读取 PostgreSQL 数据库增量数据的问题已经得到解决。在 Flink 1.13.0 版本中,新增了对 PostgreSQL 的 CDC 支持,并提供了相关的源、解析器和 SinkOperator 实现。
具体来说,Flink 1.13.0 版本中,支持使用 PostgreSQL 的逻辑复制协议(Logical Replication Protocol)进行增量数据抽取和同步。通过逻辑复制协议,Flink CDC 可以实时获取 PostgreSQL 数据库中的增量数据变化,并将其转化为 Flink 数据流进行处理和同步。
要使用 Flink CDC 进行 PostgreSQL 数据库的增量数据同步,需要先在 PostgreSQL 数据库中启用逻辑复制功能,并在 Flink CDC 中配置相应的连接参数和解析器信息。具体的配置方法可以参考 Flink 官方文档中的介绍。
需要注意的是,Flink CDC 目前仅支持 PostgreSQL 逻辑复制协议的增量数据抽取和同步,不支持使用物理复制协议进行数据同步。此外,由于逻辑复制协议的局限性,Flink CDC 在处理某些特殊类型的数据(例如 bytea 类型)时可能会有一些限制和不足
看看这个配置。
看下你现在pg有多少已经存在的slot.name,同一张表不同方式读取,也是需要不同的slot.name。
此回答整理至钉群“Flink CDC 社区”。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。