大佬们,请问 Flink SQL 怎么使用 Per-Job 模式提交任务啊?

大佬们,请问 Flink SQL 怎么使用 Per-Job 模式提交任务啊?

展开
收起
游客3oewgrzrf6o5c 2022-07-12 16:01:59 644 分享 版权
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    Flink SQL 可以使用 Per-Job 模式提交任务,也称为批处理模式。在 Per-Job 模式下,Flink 会将整个作业分为多个批次,并将每个批次作为一个独立的作业提交到 JobManager 上运行。每个批次的输入和输出都是独立的,因此可以使用不同的输入和输出流连接器来处理每个批次的数据。
    以下是使用 Per-Job 模式提交 Flink SQL 作业的步骤:

    创建作业:使用 Flink SQL 提供的 SQL 编程接口创建作业。
    配置作业:配置作业的输入和输出流连接器,以及作业的参数设置。
    提交作业:使用 Flink 提供的命令行工具或者 Flink SQL 提供的 API 将作业提交到 JobManager 上运行。
    例如,可以使用以下命令将作业提交到 JobManager 上运行:

    $FLINK_HOME/bin/flink run -c org.apache.flink.client.cli.CliFrontend ./flink-dist/bin/flink run -m yarn-cluster -yn 2 -ys 2 -yjm 1024 -ytm 1024 -c com.example.PerJobJob ./per-job-job.jar
    

    在这个命令中,-m yarn-cluster 参数指定了使用 YARN 集群作为 JobManager,-yn 2、-ys 2、-yjm 1024 和 -ytm 1024 参数指定了 YARN 集群中的主节点、从节点、JVM 内存和任务管理器内存的数量。-c com.example.PerJobJob 参数指定了作业的入口类。./per-job-job.jar 参数指定了作业的 JAR 文件路径。
    总之,使用 Per-Job 模式提交 Flink SQL 作业可以将整个作业分为多个批次,并将每个批次作为一个独立的作业提交到 JobManager 上运行,从而提高作业的并行度和效率。

    2023-08-13 10:52:27
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理