flinkcdc-pg 在wal2json 模式下,数据延时几个小时,wal日志堆积,看了一下flink日志报
org.postgresql.util.PSQLException: Database connection failed when reading from copy
请教大佬这个问题怎么解决?
这个问题可能是由于PostgreSQL的复制功能出现了问题,导致Flink CDC无法正常读取数据。你可以尝试以下方法来解决这个问题:
检查PostgreSQL的配置文件(通常是postgresql.conf),确保以下参数设置正确:
wal_level
: 确保设置为replica
或logical
,以便在WAL日志中记录复制相关的信息。max_replication_slots
: 设置一个大于0的值,以允许多个客户端连接到同一个数据库。wal_keep_segments
: 设置一个较大的值,以保留更多的WAL日志段。重启PostgreSQL服务,使配置更改生效。
检查Flink CDC的配置,确保它使用了正确的连接字符串和数据库凭据。
如果问题仍然存在,可以尝试查看PostgreSQL的错误日志(通常位于pgdata/log
目录下),以获取更多关于问题的详细信息。根据错误日志中的信息,可能需要进一步调整PostgreSQL的配置或修复数据库问题。
如果以上方法都无法解决问题,可以考虑联系PostgreSQL和Flink CDC的支持团队,寻求专业的帮助。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。