这个flink的cdc有支持人大金仓吗?

这个flink的cdc有支持人大金仓吗?

展开
收起
真的很搞笑 2023-12-01 11:13:20 843 分享 版权
5 条回答
写回答
取消 提交回答
  • TIS是一款基于Web-UI的开源大数据集成工具,通过与人大金仓Kingbase的深度整合,提供高效、灵活的实时开源数据集成方案。它支持增量数据监听和实时写入,兼容MySQL、PostgreSQL和Oracle模式,无需编写复杂脚本,操作简单直观,特别适合非专业开发人员使用。

    TIS对Flink-CDC、Debezium中与Postgresql相关模块进行扩展,扩展了以下两个工程:

    1. flink-connector-kingbase-cdchttps://github.com/qlangtech/flink-cdc/tree/tis-3.1.0/flink-cdc-connect/flink-cdc-source-connectors/flink-connector-kingbase-cdc
    2. debezium-connector-kingbasehttps://github.com/qlangtech/debezium/tree/tis.v1.9.8.Final/debezium-connector-kingbase

    改造涉及的点如下:

    1. 修改PostgresConnection:将Jdbc Connection实例创建由TIS DataSourceFactory来代理完成。
    2. 修改ReplicationMessageColumnValueResolver类:添加对MySQL dbMode下对部分mysql colType,如:tinyint,bigInt等类型的兼容
    3. 扩展KingBase主从复制,GRPC报文传输协议:pg_logicaldec.proto,KingBase扩展了 postgreSQL的主从复制协议,添加了几个字段,所以需要作相应修改

    详细请查看,https://developer.aliyun.com/article/1656488

    2025-03-11 11:26:47
    赞同 展开评论
  • Flink CDC 支持从许多不同的数据库中读取数据,包括MySQL、PostgreSQL等。然而,对于人大金仓这种具有特殊内核版本的数据库,直接使用Flink CDC可能存在一些兼容性问题。目前看来,使用Flink CDC读取人大金仓的增量数据可能存在困难,只能获取到全量数据。

    不过,这并不意味着无法实现Flink CDC对人大金仓的支持。你可以考虑通过某种方式将人大金仓中的数据复制到一个支持pg_cdc插件的数据库中(例如PostgreSQL),然后使用Flink CDC连接这个数据库来读取数据。此外,人大金仓提供了逻辑复制WAL日志的方式,这种方式包含了CDC实现的基础功能,如逻辑解码,可以从WAL日志中解析出逻辑变更事件。因此,只要合理配置和调整,应该可以实现Flink CDC对人大金仓的支持。

    2023-12-02 15:54:58
    赞同 展开评论
  • 目前的 Flink CDC 并不直接支持人大金仓(Kingbase)数据库的连接器。Flink 社区和官方仅提供了与一些主流关系型数据库(如 MySQL、PostgreSQL、SQL Server、Oracle 等)的 CDC 连接器集成。

    2023-12-02 10:11:13
    赞同 展开评论
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink SQL 支持人大金仓。人大金仓是一款国产的数据库,它支持 PostgreSQL 协议,并且提供了丰富的数据处理功能。在 Flink SQL 中,可以使用 Flink SQL 的 SQL API 或者 Table API 来查询和处理人大金仓的数据。

    2023-12-01 17:38:49
    赞同 展开评论
  • 把它当成pg试试image.png
    ,此回答整理自钉群“Flink CDC 社区”

    2023-12-01 11:43:06
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理