开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里有hudi的pipeline connector吗?

Flink CDC里有hudi的pipeline connector吗?

展开
收起
小小鹿鹿鹿 2024-02-25 22:39:54 100 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 中没有专门的 Hudi Pipeline Connector,但可以通过其他方式实现与 Hudi 的集成

    Flink CDC 是一个用于捕获数据库变更的 Source Connector,它可以从 MySQL 等数据库读取快照数据和增量数据。虽然 Flink CDC 本身并没有提供一个直接的 Hudi Pipeline Connector,但是可以通过 Flink 的 DataStream API 或者 Table API 将捕获到的数据流转换为 Hudi 所需的格式,并将其写入 Hudi 中。

    此外,Hudi 支持实时流式更新写入,这意味着可以将 CDC 捕获的数据直接写入数据湖中,供下游业务使用。例如,可以使用 Flink MySQL CDC Connector 将 RDBMS(如 MySQL)的 Binlog 数据捕获出来,然后通过 Flink 的处理能力,将这些数据实时写入 Hudi 存储中。

    综上所述,虽然 Flink CDC 没有提供专门的 Hudi Pipeline Connector,但是通过 Flink 的数据处理能力,可以实现与 Hudi 的集成,将 CDC 捕获的数据实时写入 Hudi 数据湖中。这种方式在处理大规模数据集时尤其有用,因为它可以提供高效的数据写入和查询性能。

    2024-02-26 13:19:17
    赞同 展开评论 打赏
  • Flink CDC 官方并未提供与 Hudi 的直接 pipeline connector,但您可以实现自定义的 sink 将变更数据写入 Hudi。不过,社区中可能已经有第三方开发者实现了类似的集成方案。

    2024-02-26 11:47:05
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载