开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问postgresqlFlink CDC 能直接读取华为的 gaussdb 吗?

请问postgresqlFlink CDC 能直接读取华为的 gaussdb 吗?

展开
收起
真的很搞笑 2024-01-07 16:43:22 208 0
3 条回答
写回答
取消 提交回答
  • 是的,PostgreSQL Flink CDC(Change Data Capture)可以读取华为GaussDB(DWS)数据库中的数据。为了实现这一功能,首先需要在Data Lake Insight(DLI)中创建一个增强型数据源连接,该连接关联了PostgreSQL数据库和GaussDB(DWS)数据库。

    在DLI中,您可以通过以下步骤来操作:

    1. 创建队列:在DLI中创建一个队列,以分配资源并设置权限。

    2. 创建数据库和表:在PostgreSQL中创建数据库和表,以及在GaussDB(DWS)中创建对应的数据库和表。

    3. 创建增强型数据源连接:在DLI中创建一个增强型数据源连接,将PostgreSQL连接到GaussDB(DWS)所在的子网。

    4. 运行作业:在DLI中运行一个Flink SQL作业,该作业将使用上述创建的增强型数据源连接,从PostgreSQL CDC源表读取数据,并写入到GaussDB(DWS)目标表中。

    5. 发送数据和查询结果:向PostgreSQL数据库中插入数据,并查询GaussDB(DWS)数据库中是否正确同步了这些数据。

    通过这一系列操作,您可以实现PostgreSQL Flink CDC与华为GaussDB(DWS)之间的数据同步。

    2024-01-09 11:17:37
    赞同 展开评论 打赏
  • 不能 ,此回答整理自钉群“Flink CDC 社区”

    2024-01-07 19:25:07
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,Flink CDC能够直接读取华为的GaussDB。在实际操作中,您可以利用Flink CDC和GaussDB的JDBC连接器来连接到GaussDB,并使用Flink CDC的JDBC驱动程序来连接到源数据库。这样的组合不仅可以实现实时数据同步,帮助实时数据分析和处理,还可以用于数据迁移,将数据从源数据库迁移到目标数据库中。此外,Flink CDC与GaussDB的结合也支持数据集成,能够将数据从多个源数据库集成到目标数据库中。

    值得一提的是,FlinkServer对GaussDB(DWS)8.1.x及之后版本的支持也在文档中有详细介绍。同时,flink-cdc的基本原理也是值得了解的:对于存量数据,flink-cdc首先使用快照方式一次性读取,然后通过监听数据库日志实时加载后续变化的数据。这种机制使得flink-cdc在处理postgresql时可以完美地采集单机PostgreSQL数据到Elasticsearch。

    2024-01-07 16:51:22
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载