哪位好汉在用flink 1.16.2提交任务的时候用yarn-application模式提交任务?
不存在欸换成-t yarn-per-job分分钟提交成功
在 Flink 1.16.2 中,可以使用 Yarn Application 模式来提交 Flink 任务。下面是使用 Yarn Application 模式提交 Flink 任务的步骤:
编写 Flink 任务代码,并将其打包成 jar 包。
将 Flink 的 bin 目录添加到系统的 PATH 环境变量中。
使用 flink run-application 命令提交 Flink 任务,例如:
haml
Copy
flink run-application \
--target yarn-application \
--detached \
--name my-flink-job \
--classpath file:///path/to/my-job.jar \
--yarnconfiguration yarn-site.xml \
--yarnqueue my-queue \
--yarnslots 4 \
--yarnjobmanagermemory 1024m \
--yarntaskmanagermemory 2048m \
--yarnapplicationType ApacheFlink \
--args "--input input.txt --output output.txt"
在这个命令中,--target 参数指定为 yarn-application,--classpath 参数指定为打包后的 jar 包路径,--yarnconfiguration 参数指定为 Yarn 的配置文件(例如 yarn-site.xml),--yarnqueue 参数指定为提交任务的队列名称,--yarnslots 参数指定为任务的并行度,--yarnjobmanagermemory 参数指定为 JobManager 的内存大小,--yarntaskmanagermemory 参数指定为 TaskManager 的内存大小,--yarnapplicationType 参数指定为 ApacheFlink,--args 参数指定为任务的命令行参数。
使用 --detached 参数可以将任务提交到 Yarn 集群后立即返回,并在后台运行。如果不使用 --detached 参数,则任务将会在前台运行,直到任务完成或者被中断。
使用 yarn application -list 命令查看已提交的 Yarn Application,例如:
Copy
yarn application -list
在输出中可以看到已提交的 Yarn Application 信息,包括 Application ID、名称、状态等。
根据您的描述,您似乎遇到了在使用 Flink 1.16.2 提交任务时,使用 yarn-application
模式提交任务的问题。实际上,在 Flink 中并没有名为 yarn-application
的模式可以直接提交任务。
对于 Flink on YARN,有两种常见的提交模式:
1. YARN Session 模式:这是默认的模式,也是最常用的模式。在该模式下,您可以使用以下命令将 Flink 作业提交到 YARN:
./bin/yarn-session.sh -n <number_of_taskmanagers> -tm <taskmanager_memory>
2. YARN Per-Job 模式:在该模式下,每次提交任务都会启动一个新的 YARN 应用程序。您可以使用以下命令将 Flink 作业以 Per-Job 模式提交到 YARN:
./bin/flink run -m yarn-cluster -yn <number_of_taskmanagers> -ytm <taskmanager_memory> <your_flink_job_jar>
请注意,以上命令中的 <number_of_taskmanagers>
和 <taskmanager_memory>
参数需要根据您的环境和资源配置进行调整。
如果您想在 Flink 1.16.2 上使用 YARN 模式提交任务,请尝试使用上述提到的两种模式之一。yarn-per-job
是一种常见的模式,可以根据您的需求选择合适的提交模式。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。