开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinkcdc-pg 在wal2json 模式下,数据延时几个小时,请教这个问题怎么解决?

flinkcdc-pg 在wal2json 模式下,数据延时几个小时,wal日志堆积,看了一下flink日志报
org.postgresql.util.PSQLException: Database connection failed when reading from copy
请教大佬这个问题怎么解决?

展开
收起
真的很搞笑 2024-01-09 11:29:12 76 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题可能是由于PostgreSQL的复制功能出现了问题,导致Flink CDC无法正常读取数据。你可以尝试以下方法来解决这个问题:

    1. 检查PostgreSQL的配置文件(通常是postgresql.conf),确保以下参数设置正确:

      • wal_level: 确保设置为replicalogical,以便在WAL日志中记录复制相关的信息。
      • max_replication_slots: 设置一个大于0的值,以允许多个客户端连接到同一个数据库。
      • wal_keep_segments: 设置一个较大的值,以保留更多的WAL日志段。
    2. 重启PostgreSQL服务,使配置更改生效。

    3. 检查Flink CDC的配置,确保它使用了正确的连接字符串和数据库凭据。

    4. 如果问题仍然存在,可以尝试查看PostgreSQL的错误日志(通常位于pgdata/log目录下),以获取更多关于问题的详细信息。根据错误日志中的信息,可能需要进一步调整PostgreSQL的配置或修复数据库问题。

    5. 如果以上方法都无法解决问题,可以考虑联系PostgreSQL和Flink CDC的支持团队,寻求专业的帮助。

    2024-01-09 15:30:34
    赞同 展开评论 打赏
  • 在数据库侧设置 wal_receiver_timeout = 30min ,此回答整理自钉群“Flink CDC 社区”

    2024-01-09 12:05:22
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载