开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc 3.0是不是还不支持flink on yarn模式?

flink cdc 3.0是不是还不支持flink on yarn模式?

展开
收起
小小鹿鹿鹿 2024-02-25 22:41:15 174 0
3 条回答
写回答
取消 提交回答
  • application mode 暂时还不行, session mode 可以。此回答来自钉群Flink CDC 社区。

    2024-02-26 17:53:20
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 3.0 支持 Flink on Yarn 模式

    Flink CDC 3.0 是基于 Flink 的端到端流式 ELT 数据集成框架,它不仅提供了强大的数据捕获和处理能力,而且与 Flink 生态紧密集成,这意味着它可以充分利用 Flink 的部署能力,包括在 Yarn 集群上的部署。Flink 本身就支持在 Yarn 上运行,因此 Flink CDC 作业也可以在 Yarn 上进行部署和运行。

    此外,Flink CDC 3.0 版本还引入了许多新特性,如全增量一体化、无锁读取、并行读取以及表结构变更自动同步等,这些特性使得它在数据集成方面更加高效和灵活。通过与 Flink 的集成,Flink CDC 可以利用 Flink 的管道能力和丰富的上下游生态,实现海量数据的实时集成。

    综上所述,Flink CDC 3.0 确实支持在 Flink on Yarn 模式下运行,这为在大数据环境中进行实时数据集成提供了更多的灵活性和扩展性。

    2024-02-26 13:19:18
    赞同 展开评论 打赏
  • Flink 3.0 对于 CDC (Change Data Capture) 功能,支持在 YARN 模式下运行,您可以将 Flink 集群部署在 YARN 上并使用 CDC 连接器进行数据摄取。

    2024-02-26 11:47:05
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载