请问flinkcdc中哪个cdc读pg增量数据的问题解决了嘛?

"请问flinkcdc中哪个cdc读pg增量数据的问题解决了嘛?我这里还是不行,也没看到报错。即用stream api读pg的数据,读不到增量数据,但是用flink sql就可以。打jar包运行程序了没报错,正常ck 就是没有增量数据。

展开
收起
十一0204 2023-07-19 18:09:57 137 分享 版权
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 中,读取 PostgreSQL 数据库增量数据的问题已经得到解决。在 Flink 1.13.0 版本中,新增了对 PostgreSQL 的 CDC 支持,并提供了相关的源、解析器和 SinkOperator 实现。
    具体来说,Flink 1.13.0 版本中,支持使用 PostgreSQL 的逻辑复制协议(Logical Replication Protocol)进行增量数据抽取和同步。通过逻辑复制协议,Flink CDC 可以实时获取 PostgreSQL 数据库中的增量数据变化,并将其转化为 Flink 数据流进行处理和同步。
    要使用 Flink CDC 进行 PostgreSQL 数据库的增量数据同步,需要先在 PostgreSQL 数据库中启用逻辑复制功能,并在 Flink CDC 中配置相应的连接参数和解析器信息。具体的配置方法可以参考 Flink 官方文档中的介绍。
    需要注意的是,Flink CDC 目前仅支持 PostgreSQL 逻辑复制协议的增量数据抽取和同步,不支持使用物理复制协议进行数据同步。此外,由于逻辑复制协议的局限性,Flink CDC 在处理某些特殊类型的数据(例如 bytea 类型)时可能会有一些限制和不足

    2023-07-29 19:33:58
    赞同 展开评论
  • 意中人就是我呀!

    3b1c1f291a1c2b0ab3959cd4d690e975.png
    看看这个配置。
    看下你现在pg有多少已经存在的slot.name,同一张表不同方式读取,也是需要不同的slot.name。
    此回答整理至钉群“Flink CDC 社区”。

    2023-07-19 18:58:49
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理