我看了Flink CDC这个好像是支持pg到StarRocks 。想做pg到hudi这个能实现？还是
我看了Flink CDC这个好像是支持pg到StarRocks 。想做pg到hudi这个能实现？还是得自己更改代码
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
北京阿里云ACE会长
Flink CDC 是一个用于将不同数据源的变更数据捕获并进行实时同步的工具，可以用于将 PostgreSQL（pg）数据源的变更数据同步到其他目标系统，如 StarRocks。
如果你希望将 PostgreSQL 数据源的变更数据同步到 Hudi，你可能需要进行一些自定义的工作和修改代码。目前，Flink CDC 并没有直接支持将数据同步到 Hudi 的内置连接器。
这里有一些可能的方法可以实现将 PostgreSQL 数据源的变更数据同步到 Hudi：
自定义 Flink Connector：你可以根据 Hudi 的数据写入接口，自定义实现一个 Flink Connector，将 Flink CDC 捕获到的 PostgreSQL 变更数据转换为 Hudi 可接受的格式，并将数据写入 Hudi 数据库。这涉及编写自定义代码，并与 Flink CDC 和 Hudi 的 API 进行交互。
自定义数据处理流程：你可以使用 Flink CDC 捕获到的 PostgreSQL 变更数据作为输入流，然后在 Flink 中编写自定义的数据处理逻辑，将数据转换为 Hudi 可接受的格式，并使用 Hudi 提供的 API 将数据写入 Hudi 数据库。这种方法需要你熟悉 Flink 的编程模型和 API。
不管你选择哪种方法，都需要对 Flink CDC 和 Hudi 进行一些定制开发和集成工作。你可能需要了解 Flink CDC 的工作原理、数据格式以及如何编写自定义 Flink Connector 或自定义 Flink 数据处理逻辑。
2023-08-03 22:39:14赞同 展开评论 -
他这个通用的, source是pg, sink是Starrocks，参考mysqlCDCBuilder,把相关类都加上,重新打个包就行了，此回答整理自钉群“Flink CDC 社区”
2023-08-02 09:13:37赞同 展开评论
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。