开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有开发flinkcdc采集达梦数据库的吗?

有开发flinkcdc采集达梦数据库的吗?

展开
收起
游客uu65yiq7myioi 2023-02-06 17:23:49 201 0
3 条回答
写回答
取消 提交回答
  • 截至目前(2021年底),Apache Flink 社区和 Flink CDC Connectors 官方并没有直接提供对达梦(Dameng)数据库的支持。Flink CDC Connectors 主要是基于 Debezium 实现的,而 Debezium 同样也没有直接支持达梦数据库。

    如果您需要采集达梦数据库变更日志(CDC),有以下一些可行的方案:

    自定义 Flink Source:

    可以开发一个自定义的 Flink Source Connector 来连接达梦数据库,并采集其变更日志。
    数据库触发器:

    在达梦数据库中使用触发器捕获变更,并将这些变更写入到一个变更表中,然后 Flink 任务周期性地从这个变更表中读取数据。
    日志采集工具:

    使用达梦数据库提供的或者第三方的日志采集工具来捕获变更,再用 Flink Source Connector 如 Kafka Connector 进行消费。
    商业工具:

    还有一些商业的数据集成工具可能已经提供了对达梦数据库的CDC支持,可以考虑使用这些工具将变更数据捕获到 Kafka,再由 Flink 进行处理。
    社区贡献:

    如果您有足够的资源和技术实力,您可以开发自己的 Flink CDC Connector 并贡献给社区。
    数据库日志解析:

    另一种可能性是解析达梦数据库的原始日志文件(如果数据库支持并且格式可解析)。

    2024-02-27 15:48:24
    赞同 展开评论 打赏
  • 目前阿里云实时计算Flink不支持采集达梦数据库的数据,但是可以通过自定义Source来实现。

    2023-02-06 22:27:02
    赞同 展开评论 打赏
  • 不支持把——该回答整理自钉群“Flink CDC 社区”

    2023-02-06 19:37:50
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载
    云时代的数据库技术趋势 立即下载
    超大型金融机构国产数据库全面迁移成功实践 立即下载