开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

各位有在用flink1.15版本的吗,我这边yarn模式下设置了tm.numberofslot不生效

各位有在用flink1.15版本的吗,我这边yarn模式下设置了tm.numberofslot不生效有遇到过吗?

展开
收起
芬奇福贵 2023-07-13 16:17:05 213 0
4 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink 1.15 版本中,tm.numberOfSlots 配置项用于设置每个 TaskManager 上的 slot 数量。如果该配置项设置不生效,可能是由于以下原因之一:

    配置文件未生效:在 Flink 中,可以通过配置文件或命令行参数来设置配置项。如果你同时指定了配置文件和命令行参数,那么命令行参数会覆盖配置文件中的设置。你需要确保 tm.numberOfSlots 配置项在配置文件中正确设置,并且没有被命令行参数覆盖。

    配置项名称错误:在 Flink 中,每个配置项都有一个唯一的名称,你需要确保 tm.numberOfSlots 配置项的名称没有拼写错误或大小写错误。在 Flink 1.15 版本中,tm.numberOfSlots 应该是正确的配置项名称。

    配置项类型错误:在 Flink 中,每个配置项都有一个特定的类型,例如整数、字符串等。你需要确保 tm.numberOfSlots 配置项的类型正确,并且与你的设置相匹配。在 Flink 1.15 版本中,tm.numberOfSlots 的类型应该是整数类型。

    YARN 配置问题:如果你在 YARN 模式下运行 Flink,可能需要对 YARN 配置进行相应的设置,才能使 tm.numberOfSlots 配置项生效。你可以检查 YARN 相关的日志信息或配置文件,来查找可能存在的问题。

    2023-07-29 21:38:43
    赞同 展开评论 打赏
  • 很抱歉听到您在使用 Flink 1.15 版本的 YARN 模式时遇到问题。在 Flink 中,通过设置 taskmanager.numberOfTaskSlots 参数来控制每个 TaskManager 上可用的任务槽(slots)数量。但有时候可能会遇到一些问题导致该参数设置不生效。

    以下是一些可能的原因和解决方法:

    1. YARN 配置文件更新:
    确保您在 Flink 集群的 YARN 配置文件中更新了相应的参数。您可以检查 flink-conf.yaml 文件或通过 Flink 的 Web UI 来查看和修改配置。确认 taskmanager.numberOfTaskSlots 参数的值已正确设置。

    2. 重新启动 Flink 集群:
    在更改了 Flink 配置文件后,需要重新启动 Flink 集群,以使新的配置生效。请确保您已经重启了所有相关的 Flink 组件和服务,包括 TaskManager 和 JobManager。

    3. 资源管理器限制:
    在某些情况下,YARN 资源管理器也可能对任务槽的数量进行限制。您可以检查 YARN 资源管理器的日志或配置文件,查看是否存在与任务槽数量相关的限制,并根据需要进行调整。

    4. 执行程序参数覆盖:
    确认没有在提交作业时使用 --taskmanager.slots 参数或其他相关参数对任务槽数量进行覆盖。这些参数可能会覆盖掉配置文件中的设置。

    2023-07-15 09:17:54
    赞同 展开评论 打赏
  • 存在即是合理

    在 Flink 1.15 版本的 YARN 模式下,如果设置了 tm.numberofslot 不生效,可能是因为以下原因:

    1. 配置文件中没有正确设置 tm.numberofslot。请确保在 flink-conf.yaml 配置文件中正确设置了 tm.numberofslot,例如:
    tm.numberofslots: 2
    
    1. 在启动 Flink 时没有指定 --config-file flink-conf.yaml 参数。请确保在启动 Flink 时指定了正确的配置文件路径,例如:
    ./bin/start-cluster.sh --config-file flink-conf.yaml
    
    1. 在 Flink 集群中存在多个 TaskManager,但是只有一个 TaskManager 被正确配置了 tm.numberofslot。请检查 Flink 集群中的 TaskManager 数量和配置情况,并确保所有 TaskManager 都被正确配置了 tm.numberofslot

    2. 在 Flink 集群中存在多个 JobManager,但是只有一个 JobManager 被正确配置了 tm.numberofslot。请检查 Flink 集群中的 JobManager 数量和配置情况,并确保所有 JobManager 都被正确配置了 tm.numberofslot

    或者试试升级到更高版本。

    2023-07-14 10:09:44
    赞同 展开评论 打赏
  • 回答8.png

    此答案来自钉钉群“【2】Apache Flink China 社区"

    2023-07-13 17:09:59
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载