yarn方式提交作业 这里自定义的参数怎么指定?

yarn方式提交作业 这里自定义的参数怎么指定? 216c29d95c72103ad8944c33c05b5d1e.png

展开
收起
十一0204 2023-04-10 21:34:45 213 分享 版权
阿里云 AI 助理回答

在YARN方式提交作业时,指定自定义参数有以下几种方式:

  1. 在作业代码中直接设置:您可以在Flink作业的代码里直接为需要的配置项赋值,这种方式最为直接。

  2. 命令行参数传递:使用flink run-application命令提交作业时,可以通过-D选项来指定配置项的值。例如,如果您想设置状态后端为RocksDB,可以这样操作:

    flink run-application -t yarn-application -Dstate.backend=rocksdb /path/to/your/jar.jar
    

    这里-D后面跟着的是配置项名和对应的值。

  3. 配置文件设置:您也可以在Flink的配置文件(如flink-conf.yaml)中预先设定这些参数。位于/etc/taihao-apps/flink-conf/flink-conf.yaml的配置将对所有在此集群上运行的作业生效。修改或添加相应的配置项及值即可。

请根据您的具体需求和场景选择合适的方式来自定义作业参数。如果参数需要动态调整或者希望在不修改代码和配置文件的情况下进行配置,推荐使用命令行参数传递的方式。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理