开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中hudi connector必须在hadoop环境下运行吗?

Flink CDC中hudi connector必须在hadoop环境下运行吗?

展开
收起
cuicuicuic 2023-12-20 08:25:55 31 0
1 条回答
写回答
取消 提交回答
  • CSDN全栈领域优质创作者,万粉博主;InfoQ签约博主;华为云享专家;华为Iot专家;亚马逊人工智能自动驾驶(大众组)吉尼斯世界纪录获得者

    Flink CDC的hudi connector不一定需要在Hadoop环境下运行。但是,请注意,Hudi是一个流式数据湖平台,它能够连通Hadoop和Hive,支持对数据record粒度的各种操作。在一些案例中,它是采用Flink MySQL CDC Connector将RDBMS(MySQL)的Binlog数据实时写入数据湖的。所以,如果计划使用这样的配置,确保你的环境包含Hadoop是有必要的。同时,你需要保证使用的Flink版本和Hudi版本能够兼容,例如Flink 1.13.1与Hudi 0.10.1的整合使用在许多场景中都被广泛推荐。

    2023-12-20 15:08:14
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    《构建Hadoop生态批流一体的实时数仓》 立即下载
    零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
    CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载