开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬,Flink中你那个资源申请不到怎么解决的?那个配置,任务还是yarn,你那边给的多少呢

大佬,Flink中你那个资源申请不到怎么解决的?那个配置,任务还是yarn,你那边给的多少呢

展开
收起
真的很搞笑 2023-07-25 20:27:32 165 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink 中,如果您的任务在 YARN 上运行,您可以通过以下方式来调整任务的资源分配:
    在 flink-conf.yaml 文件中设置默认的 JobManager 和 TaskManager 内存和 CPU:
    stylus
    Copy

    JobManager 内存和 CPU

    jobmanager.memory.process.size: 1024m
    jobmanager.cpu.cores: 1

    TaskManager 内存和 CPU

    taskmanager.memory.process.size: 2048m
    taskmanager.cpu.cores: 2
    以上配置将默认为 JobManager 分配 1GB 的内存和 1 个 CPU 核心,为 TaskManager 分配 2GB 的内存和 2 个 CPU 核心。如果您的任务需要更多的资源,可以相应地增加这些值。
    在提交任务时,通过 --jobmanager.memory.process.size、--jobmanager.cpu.cores、--taskmanager.memory.process.size 和 --taskmanager.cpu.cores 参数来调整 JobManager 和 TaskManager 的资源分配:
    stylus
    Copy
    ./bin/flink run --jobmanager.memory.process.size 2048m \
    --jobmanager.cpu.cores 2 \
    --taskmanager.memory.process.size 4096m \
    --taskmanager.cpu.cores 4 \
    /path/to/your/job.jar
    以上命令将为 JobManager 分配 2GB 的内存和 2 个 CPU 核心,为 TaskManager 分配 4GB 的内存和 4 个 CPU 核心。如果您的任务需要更多的资源,可以相应地增加这些值。

    2023-07-29 18:08:09
    赞同 展开评论 打赏
  • 增加资源,yarn,我的给的多 总内存100G,够用就行你看你任务数量大概是多少 然后你每次提交的任务给了多少g算一下大概就知道要配多少了,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-07-25 20:30:27
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载