开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

pg是主备的话,flink cdc支持连接pg备库吗?

pg是主备的话,flink cdc支持连接pg备库吗?

展开
收起
真的很搞笑 2023-12-04 08:09:41 78 0
5 条回答
写回答
取消 提交回答
  • pg自己本身不支持哈 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-05 09:03:08
    赞同 展开评论 打赏
  • Flink CDC支持从PostgreSQL的主备库中采集数据。无论您要连接的是主库还是备库,首先需要在相应的库中启用CDC功能,以便将变更数据推送到Flink CDC。在实际操作中,对于PostgreSQL备库,需要做一些特定的配置更改,以便Flink CDC可以正常工作。具体步骤如下:

    1. 更改PostgreSQL备库的配置文件postgresql.conf,启用逻辑复制。这包括将wal_level参数设置为logical。
    2. 更改solts最大数量(默认值为10),因为flink-cdc默认一张表占用一个slots。可以根据需要进行调整。
    3. 更改wal发送最大进程数(默认值为10),这个值应与上面的solts设置一致。
      完成以上配置后,就可以使用Flink CDC从PostgreSQL备库中捕获变更数据了。
    2023-12-04 23:00:20
    赞同 展开评论 打赏
  • 在Flink CDC中,可以连接到PostgreSQL的备库进行数据捕获。但是需要注意以下几点:

    1. 备库配置:确保您的PostgreSQL备库已正确配置和启用WAL归档。只有启用了WAL归档才能保证备库能够持续地接收并应用主库的事务日志。

    2. 连接字符串:在配置Flink CDC时,将备库的连接字符串配置为目标数据库连接。这样Flink CDC会连接到备库,并从备库的WAL归档中获取数据变更。

    3. 数据一致性:由于备库是通过应用WAL日志来同步主库的数据,因此备库上的数据变更可能会存在一定的延迟。在使用备库进行数据捕获时,需要考虑数据一致性和最终一致性的问题。

    4. 故障转移和切换:如果主库发生故障或切换,备库可能会成为新的主库。在这种情况下,需要及时更新Flink CDC的连接字符串以连接到新的主库。

    需要注意的是,使用备库进行数据捕获可能会引入一些额外的复杂性和潜在的延迟。在设计和部署时,请根据业务需求和系统要求仔细评估和权衡。此外,建议在实际生产环境中进行充分的测试和验证,以确保连接到备库的Flink CDC能够正常工作并满足您的数据捕获需求。

    2023-12-04 20:42:49
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC主要是用于实时将数据从数据库的主库复制到 Flink 程序中进行处理。在采集PostgreSQL数据库数据时,Flink CDC需要对源数据库有读写权限。关于是否可以连接PostgreSQL的备库,有些情况下是可以的,但前提是使用Debezium connector。然而也存在一种观点认为Flink CDC不能连接备库。

    2023-12-04 13:54:34
    赞同 展开评论 打赏
  • Flink CDC确实支持连接到PostgreSQL的主备库。在创建Flink CDC任务时,可以通过指定备库的连接信息来建立到备库的连接。这样,Flink CDC就能够从备库中读取数据的变更事件,从而实现数据的实时同步。同时,Flink CDC还支持多种数据库源,包括MySQL、PostgreSQL等,可以满足不同业务场景的需求。

    2023-12-04 11:19:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载