开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

怎么指定 flink yarn-session 启动 这properties 的文件存放位置?

怎么指定 flink yarn-session 启动 这properties 的文件存放位置?不让他存放在 tmp 目录,要改那个配置7ebc2da7b3369d382850882c9f4fbed5.png

展开
收起
真的很搞笑 2023-12-10 17:34:10 104 0
2 条回答
写回答
取消 提交回答
  • -path xx.properties ,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-12-11 22:24:26
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    要指定Flink Yarn Session启动的properties文件存放位置,可以通过以下步骤进行操作:

    1. 创建一个包含所需配置的properties文件,例如flink-yarn-session.properties
    2. 将该properties文件放置在Flink安装目录的conf文件夹中。
    3. 在启动Flink Yarn Session时,通过命令行参数--yarnapplicationname指定Yarn应用程序的名称,并通过命令行参数--yarnjar指定Flink作业的JAR包路径。
    4. 使用-Dyarn.application.status.address参数指定Yarn Application Master的状态地址。
    5. 使用-Dyarn.application.queue参数指定Yarn队列名称。
    6. 使用-Dyarn.client.failover-check-interval参数指定Yarn客户端故障恢复检查的时间间隔。
    7. 使用-Dyarn.client.retries.file参数指定Yarn客户端重试文件的路径。
    8. 使用-Dyarn.log-aggregation-enable参数启用Yarn日志聚合功能。
    9. 使用-Dyarn.log-aggregation-type参数指定Yarn日志聚合的类型。
    10. 使用-Dyarn.nodemanager.pmem-check-enabled参数启用Yarn NodeManager的PMEM内存检查功能。
    11. 使用-Dyarn.nodemanager.vmem-check-enabled参数启用Yarn NodeManager的VMEM虚拟内存检查功能。
    12. 使用-Dyarn.resourcemanager.address参数指定Yarn ResourceManager的地址。
    13. 使用-Dyarn.resourcemanager.scheduler.address参数指定Yarn调度器的地址。
    14. 使用-Dyarn.timeline-service.address参数指定Yarn时间线的地址。
    15. 使用-Dyarn.webapp.address参数指定Yarn Web界面的地址。
    16. 使用--configdir参数指定Flink配置文件的目录,该目录应包含之前创建的flink-yarn-session.properties文件。

    下面是一个示例命令行:

    flink run -m yarn-cluster -yn <numTaskManagers> -yjm <jobManagerMemory> -ys <taskManagerMemory> --job <jobName> --class <jobClassName> --jar <jobJarPath> --configdir <configDir> --yarnapplicationname <yarnApplicationName> --yarnjar <yarnJarPath> -Dyarn.application.status.address <yarnStatusAddress> -Dyarn.application.queue <yarnQueue> -Dyarn.client.failover-check-interval <failoverCheckInterval> -Dyarn.client.retries.file <retryFilePath> -Dyarn.log-aggregation-enable <logAggregationEnable> -Dyarn.log-aggregation-type <logAggregationType> -Dyarn.nodemanager.pmem-check-enabled <pmemCheckEnabled> -Dyarn.nodemanager.vmem-check-enabled <vmemCheckEnabled> -Dyarn.resourcemanager.address <resourceManagerAddress> -Dyarn.resourcemanager.scheduler.address <schedulerAddress> -Dyarn.timeline-service.address <timelineServiceAddress> -Dyarn.webapp.address <webAppAddress>
    
    2023-12-11 13:39:11
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载