CDC2.2.1还不支持postgresql14.1么?基于pgbouncer连接方式下,以5433复制端口捕获不到数据,也没有报错,不知道是不是一个bug?还是数据库版本的原因?(我用的是PG14.1,看cdc说明还不支持),但我认为这是一个基本的功能,版本高不应该导致这个问题。整个流程都没有报错,CDC提交之后,flink job作业状态也是running,就是捕捉不到数据。难道说在这种情况下,需要对数据库打开什么配置?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
根据您提供的信息和我的知识库资料,关于您的问题有以下分析与建议:
支持情况确认:首先,关于Flink CDC 2.2.1是否支持PostgreSQL 14.1,知识库中没有直接提及Flink CDC各个版本对PostgreSQL具体版本的支持详情。通常,Flink CDC会逐步更新以兼容最新的数据库版本,但每个版本的兼容性需查阅官方文档或发行说明来确认。如果当前文档未明确指出支持PostgreSQL 14.1,建议直接查看Flink CDC的官方发布说明或更新日志来获取最准确的支持信息。
Pgbouncer与复制端口问题:使用pgBouncer作为连接池代理时,需要注意pgBouncer默认不支持逻辑复制协议,这可能是导致无法通过5433端口捕获数据的原因之一。如果您希望通过pgBouncer捕获CDC变更,可能需要配置pgBouncer为streaming
或transaction
模式,并且确保pgBouncer配置允许逻辑复制流量通过。
数据库配置检查:
wal_level
已设置为logical
,这是启用逻辑复制的前提。replica identity
是否设置为FULL
,这对于正确捕获行级别的更改至关重要。REPLICATION
权限以及对要同步表的SELECT
权限。网络与连接验证:虽然您提到流程中没有报错,但仍建议检查网络连通性,确保Flink作业所在环境能够无障碍地访问到PostgreSQL的5433端口。
日志深入分析:尽管表面上没有错误提示,但深入分析Flink作业的日志文件可能会提供更详细的诊断信息。关注是否有警告信息或者与连接、读取数据相关的微妙错误提示。
配置复核:请再次复核Flink SQL作业中关于Postgres CDC源的配置,确认所有参数(如插件名称、数据库URL、用户名、密码等)均正确无误,并且符合PostgreSQL 14.1及pgBouncer的使用要求。
综上所述,问题可能源于pgBouncer的配置限制、数据库配置不当或是连接配置细节有误。逐一排查上述方面,并参考Flink CDC的最新文档指导,应该能帮助您定位并解决问题。如果经过上述步骤仍未能解决问题,建议直接咨询Flink或PostgreSQL社区,或查看是否有相关开源问题报告,以获得更专业的帮助。您可以复制页面截图提供更多信息,我可以进一步帮您分析问题原因。