开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC是不是只能提交standalone模式和yarn-session?

Flink CDC使用flinksql客户端提交flink实时任务,是不是只能提交standalone模式和yarn-session,没办法提交application模式?

展开
收起
真的很搞笑 2024-03-05 23:42:08 66 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 使用 FlinkSQL 客户端提交实时任务时,并不局限于只能提交到 standalone 模式和 yarn-session 模式,也能够支持 application 模式

    Flink 提供了灵活的作业提交方式,包括 standalone、yarn-session 以及 yarn-application 模式。Flink SQL 是 Flink 的一个模块,它允许用户通过 SQL 语言来开发流处理和批处理作业。在 Flink 1.11 版本中,Table & SQL 开始支持 Change Data Capture(CDC),这使得 Flink 能更方便地集成和同步数据变更。

    具体到 Flink CDC,它利用了 Flink 的数据源接口(TableSource)来捕获数据库的数据变更。通过 Debezium 采集的 JSON 格式数据包含了旧数据和新数据行以及操作信息等,这些信息会被转换成 Flink 可以处理的 RowData 数据结构。这意味着 Flink CDC 可以与 Flink 生态中的其他组件如 Kafka、Hudi 等无缝集成,实现数据的实时采集和同步。

    因此,当您使用 FlinkSQL 客户端提交实时任务时,可以根据实际需求选择不同的提交模式。如果需要将任务作为长期运行的应用提交到 YARN 集群,您可以选择 yarn-application 模式。这为任务管理提供了更多灵活性,例如能够根据资源的可用性动态地调整任务的规模。

    综上所述,Flink CDC 配合 FlinkSQL 客户端确实可以提交到 application 模式,这为实时数据处理和分析工作提供了更多可能性和便利。

    2024-03-08 23:01:22
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载