开发者社区 问答 正文

CDC2.2.1还不支持postgresql14.1么?基于pgbouncer连接方式下,以5433

CDC2.2.1还不支持postgresql14.1么?基于pgbouncer连接方式下,以5433复制端口捕获不到数据,也没有报错,不知道是不是一个bug?还是数据库版本的原因?(我用的是PG14.1,看cdc说明还不支持),但我认为这是一个基本的功能,版本高不应该导致这个问题。整个流程都没有报错,CDC提交之后,flink job作业状态也是running,就是捕捉不到数据。难道说在这种情况下,需要对数据库打开什么配置?

展开
收起
游客3oewgrzrf6o5c 2022-06-22 10:37:37 311 分享 版权
阿里云 AI 助理回答

根据您提供的信息和我的知识库资料,关于您的问题有以下分析与建议:

  1. 支持情况确认:首先,关于Flink CDC 2.2.1是否支持PostgreSQL 14.1,知识库中没有直接提及Flink CDC各个版本对PostgreSQL具体版本的支持详情。通常,Flink CDC会逐步更新以兼容最新的数据库版本,但每个版本的兼容性需查阅官方文档或发行说明来确认。如果当前文档未明确指出支持PostgreSQL 14.1,建议直接查看Flink CDC的官方发布说明或更新日志来获取最准确的支持信息。

  2. Pgbouncer与复制端口问题:使用pgBouncer作为连接池代理时,需要注意pgBouncer默认不支持逻辑复制协议,这可能是导致无法通过5433端口捕获数据的原因之一。如果您希望通过pgBouncer捕获CDC变更,可能需要配置pgBouncer为streamingtransaction模式,并且确保pgBouncer配置允许逻辑复制流量通过。

  3. 数据库配置检查

    • 确保PostgreSQL的wal_level已设置为logical,这是启用逻辑复制的前提。
    • 检查同步表的replica identity是否设置为FULL,这对于正确捕获行级别的更改至关重要。
    • 如果使用了特定的用户进行连接,该用户必须具有适当的权限,包括REPLICATION权限以及对要同步表的SELECT权限。
  4. 网络与连接验证:虽然您提到流程中没有报错,但仍建议检查网络连通性,确保Flink作业所在环境能够无障碍地访问到PostgreSQL的5433端口。

  5. 日志深入分析:尽管表面上没有错误提示,但深入分析Flink作业的日志文件可能会提供更详细的诊断信息。关注是否有警告信息或者与连接、读取数据相关的微妙错误提示。

  6. 配置复核:请再次复核Flink SQL作业中关于Postgres CDC源的配置,确认所有参数(如插件名称、数据库URL、用户名、密码等)均正确无误,并且符合PostgreSQL 14.1及pgBouncer的使用要求。

综上所述,问题可能源于pgBouncer的配置限制、数据库配置不当或是连接配置细节有误。逐一排查上述方面,并参考Flink CDC的最新文档指导,应该能帮助您定位并解决问题。如果经过上述步骤仍未能解决问题,建议直接咨询Flink或PostgreSQL社区,或查看是否有相关开源问题报告,以获得更专业的帮助。您可以复制页面截图提供更多信息,我可以进一步帮您分析问题原因。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答