请问哪位做过postgresql到hudi的同步,我成功把mysql表同步到了hudi,insert/update/delete mysql源表,hudi表都能看到相应变更,然后我把source换成postgresql表,sink表的写法完全没变,启动INSERT INTO SELECT *作业以后,历史数据成功的从postgresql同步到了hudi,但是实时修改没有同步过来,SELECT source表,修改记录是有的,但是不知道为啥同步不过来?用的flink cdc 2.3版本的postgresql cdc connectorAL![ab33f7952946401af3092d099779c419.jpg](https://ucc.alicdn.com/pic/developer-ecology/jtidjupolkzka_322a4fa6f9c84aedbc12c4932ed47a0e.jpg
可能的原因和解决方案:
1、数据库连接问题:请检查PostgreSQL数据库是否可以连接,以及连接参数是否正确配置。如果无法连接,可以通过查看Flink作业日志来确定错误原因。
2、数据源读取问题:请确保您使用的Flink数据源可以正确读取PostgreSQL数据,并且数据读取逻辑没有问题。您可以在Flink作业中使用日志输出来查看数据读取情况。
3、Hudi写入问题:请确保您使用的Hudi版本支持PostgreSQL,以及Hudi写入逻辑没有问题。您可以在Flink作业中使用日志输出来查看Hudi写入情况。
4、数据同步延迟问题:如果您在PostgreSQL中进行实时修改,但是修改没有同步到Hudi中,请考虑是否存在数据同步延迟问题。可能需要等待一段时间,才能看到数据同步结果。
总之,针对这个问题,建议逐一排查上述可能的原因,并检查相关日志信息,以便更好地定位和解决问题。如果需要更详细的帮助和支持,可以联系阿里云技术支持或者Hudi社区。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。