开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc 采集postgresql数据库集群,是不是只能连接主库 连接备库报错?

flink cdc 采集postgresql数据库集群,是不是只能连接主库 连接备库报错?

展开
收起
十一0204 2023-07-26 08:07:06 117 0
3 条回答
写回答
取消 提交回答
  • 是的,当使用 Flink CDC 采集 PostgreSQL 数据库集群时,默认情况下只能连接到主库,而无法直接连接到备库(standby)。

    这是因为在 PostgreSQL 的流复制机制中,只有主库才能提供写入和变更信息。备库主要用于故障恢复和读取访问,并且通常不支持直接进行写入操作。

    Flink CDC 是基于 PostgreSQL 的逻辑复制功能来捕获数据变更的,而逻辑复制槽(Logical Replication Slot)只能在主库上创建和管理。因此,Flink CDC 只能连接到主库以获取实时的数据变更,并将其传输到目标系统。

    如果你希望采集备库的数据,可以考虑以下几个选项:

    1. 使用 PostgreSQL 流复制:为了实现从备库获取数据变更的功能,你需要在备库上启用流复制并创建逻辑复制槽。然后,你可以将流复制的数据传输到主库或其他地方进行处理。

    2. 使用其他工具:除了 Flink CDC,你还可以考虑使用其他专门用于备库的数据同步和捕获工具,例如 pglogical 或 Slony-I 等。

    需要注意的是,备库的数据可能会在一定程度上延迟,因为它们必须等待主库的数据变更后才能接收到更新。因此,在选择采集备库数据的方法时,你需要综合考虑数据的实时性和一致性要求。

    2023-07-31 23:03:28
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    Flink CDC 中采集 PostgreSQL 数据库集群时,可以连接主库和备库进行采集,但需要注意一些细节问题。
    首先,如果您在连接备库时遇到了报错,可能是因为备库处于备份状态,无法进行写操作,因此无法采集 Binlog 数据。在这种情况下,您需要确保连接的是可写的主库,以确保能够正常采集数据。
    其次,如果您在连接主库时采集 Binlog 数据,可能会导致主库的性能和可用性受到影响。因为 Binlog 是通过在主库上记录数据变更操作来实现的,如果采集 Binlog 数据的频率过高,可能会导致主库的性能下降,甚至出现延迟或宕机等问题。为了避免这种情况,您可以考虑在备库上采集 Binlog 数据,以减轻主库的负担。
    最后,需要注意的是,当连接 PostgreSQL 数据库集群时,需要使用正确的 JDBC URL 和连接参数。具体来说,您需要在 JDBC URL 中指定 PostgreSQL 数据库集群的所有主机地址和端口号,以便 Flink CDC 可以自动切换到可用的主机和端口进行连接。同时,您还需要设置正确的连接参数,例如 user、password、database 和 ssl 等,以确保连接的正确性和安全性。
    总的来说,连接主库或备库都是可以的,但需要根据具体的业务需求和系统架构来选择合适的采集方案和连接方式,以实现数据同步和处理的高效性和可靠性。
    在使用 Flink CDC 采集 PostgreSQL 数据库集群时,建议只连接主库进行数据采集,以确保数据的一致性和可靠性。这是因为 PostgreSQL 数据库集群采用了流复制(streaming replication)的方式进行数据同步,主库会将数据更新操作以 WAL 日志的形式发送给备库,备库再将这些 WAL 日志应用到自己的数据库中,从而保证备库中的数据与主库中的数据保持一致。

    2023-07-29 16:23:18
    赞同 展开评论 打赏
  • 存在即是合理

    是的,Flink CDC 只能连接主库,不能连接备库。这是因为 Flink CDC 是基于 Debezium 的,Debezium 从 PostgreSQL 采集数据需要 decoderbufs 插件支持,所以要在 PostgreSQL 上安装 decoderbufs。这个需要下载源码手动编译,同时需要依赖 Protobuf、Protobuf-c、PostGIS 才能编译。

    2023-07-28 14:39:57
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载