请问哪位大佬做过postgresql到hudi的同步，我成功把mysql表同步到了hudi，inse
请问哪位大佬做过postgresql到hudi的同步，我成功把mysql表同步到了hudi，insert/update/delete mysql源表，hudi表都能看到相应变更，然后我把source换成postgresql表，sink表的写法完全没变， 启动INSERT INTO SELECT *作业以后，历史数据成功的从postgresql同步到了hudi，但是实时修改没有同步过来，SELECT source表，修改记录是有的，但是不知道为啥同步不过来？ 这是我的同步作业定义AL，用的flink cdc 2.3版本的postgresql cdc connector 
写回答
-
值得去的地方都没有捷径可能是实时修改的数据没有触发 Flink 的数据源监控机制，导致数据没有及时同步到 Hudi 表中。可以尝试在 Flink 的 SQL Client 中通过 SHOW TABLES; 命令查看 Hudi 表的元数据信息，确认是否存在实时修改的数据。
如果确认存在实时修改的数据，可以检查 Flink 的数据源监控机制是否正确配置。具体来说，可以检查以下配置项：
table.planner.sources.default-poll-interval：该配置项指定了 Flink 监控数据源变化的轮询间隔，单位为毫秒。可以尝试将该值调小，例如设置为 1000ms，以提高数据源监控的实时性。 table.planner.sources.default-poll-timeout：该配置项指定了 Flink 监控数据源变化的超时时间，单位为毫秒。可以尝试将该值调大，例如设置为 300000ms，以避免因超时而导致的数据源监控失败。另外，还可以尝试使用 Flink 的 CDC（Change Data Capture）功能，实现对 PostgreSQL 数据源的实时监控和同步。具体实现可以参考 Flink 官方文档中的示例代码，需要使用相应的 CDC Connector 和相关配置。
2023-04-14 22:39:10赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
