开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

哪位好汉在用flink 1.16.2提交任务的时候用yarn-application模式提交任务?!

哪位好汉在用flink 1.16.2提交任务的时候用yarn-application模式提交任务?image.png
不存在欸换成-t yarn-per-job分分钟提交成功

展开
收起
真的很搞笑 2023-07-13 10:27:44 122 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink 1.16.2 中,可以使用 Yarn Application 模式来提交 Flink 任务。下面是使用 Yarn Application 模式提交 Flink 任务的步骤:

    编写 Flink 任务代码,并将其打包成 jar 包。

    将 Flink 的 bin 目录添加到系统的 PATH 环境变量中。

    使用 flink run-application 命令提交 Flink 任务,例如:

    haml
    Copy
    flink run-application \
    --target yarn-application \
    --detached \
    --name my-flink-job \
    --classpath file:///path/to/my-job.jar \
    --yarnconfiguration yarn-site.xml \
    --yarnqueue my-queue \
    --yarnslots 4 \
    --yarnjobmanagermemory 1024m \
    --yarntaskmanagermemory 2048m \
    --yarnapplicationType ApacheFlink \
    --args "--input input.txt --output output.txt"
    在这个命令中,--target 参数指定为 yarn-application,--classpath 参数指定为打包后的 jar 包路径,--yarnconfiguration 参数指定为 Yarn 的配置文件(例如 yarn-site.xml),--yarnqueue 参数指定为提交任务的队列名称,--yarnslots 参数指定为任务的并行度,--yarnjobmanagermemory 参数指定为 JobManager 的内存大小,--yarntaskmanagermemory 参数指定为 TaskManager 的内存大小,--yarnapplicationType 参数指定为 ApacheFlink,--args 参数指定为任务的命令行参数。

    使用 --detached 参数可以将任务提交到 Yarn 集群后立即返回,并在后台运行。如果不使用 --detached 参数,则任务将会在前台运行,直到任务完成或者被中断。

    使用 yarn application -list 命令查看已提交的 Yarn Application,例如:

    Copy
    yarn application -list
    在输出中可以看到已提交的 Yarn Application 信息,包括 Application ID、名称、状态等。

    2023-07-30 09:38:23
    赞同 展开评论 打赏
  • 根据您的描述,您似乎遇到了在使用 Flink 1.16.2 提交任务时,使用 yarn-application 模式提交任务的问题。实际上,在 Flink 中并没有名为 yarn-application 的模式可以直接提交任务。

    对于 Flink on YARN,有两种常见的提交模式:

    1. YARN Session 模式:这是默认的模式,也是最常用的模式。在该模式下,您可以使用以下命令将 Flink 作业提交到 YARN:

    ./bin/yarn-session.sh -n <number_of_taskmanagers> -tm <taskmanager_memory>
    

    2. YARN Per-Job 模式:在该模式下,每次提交任务都会启动一个新的 YARN 应用程序。您可以使用以下命令将 Flink 作业以 Per-Job 模式提交到 YARN:

    ./bin/flink run -m yarn-cluster -yn <number_of_taskmanagers> -ytm <taskmanager_memory> <your_flink_job_jar>
    

    请注意,以上命令中的 <number_of_taskmanagers> 和 <taskmanager_memory> 参数需要根据您的环境和资源配置进行调整。

    如果您想在 Flink 1.16.2 上使用 YARN 模式提交任务,请尝试使用上述提到的两种模式之一。yarn-per-job 是一种常见的模式,可以根据您的需求选择合适的提交模式。

    2023-07-29 23:52:41
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载