yarn方式提交作业 这里自定义的参数怎么指定?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在YARN方式提交作业时,指定自定义参数有以下几种方式:
在作业代码中直接设置:您可以在Flink作业的代码里直接为需要的配置项赋值,这种方式最为直接。
命令行参数传递:使用flink run-application
命令提交作业时,可以通过-D
选项来指定配置项的值。例如,如果您想设置状态后端为RocksDB,可以这样操作:
flink run-application -t yarn-application -Dstate.backend=rocksdb /path/to/your/jar.jar
这里-D
后面跟着的是配置项名和对应的值。
配置文件设置:您也可以在Flink的配置文件(如flink-conf.yaml
)中预先设定这些参数。位于/etc/taihao-apps/flink-conf/flink-conf.yaml
的配置将对所有在此集群上运行的作业生效。修改或添加相应的配置项及值即可。
请根据您的具体需求和场景选择合适的方式来自定义作业参数。如果参数需要动态调整或者希望在不修改代码和配置文件的情况下进行配置,推荐使用命令行参数传递的方式。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。