开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink我使用taskmanager起了正常,脚本不会判断起了就不起新进程嘛?

Flink我使用taskmanager起了正常,然后在用start-cluster.sh进程数翻倍了,脚本不会判断起了就不起新进程嘛?

展开
收起
真的很搞笑 2023-12-03 20:34:27 55 0
3 条回答
写回答
取消 提交回答
  • 这种独立模式会重复启动进程!而且还会杀不掉进程,导致taskmanager进程一直在,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-12-05 10:06:55
    赞同 展开评论 打赏
  • start-cluster.sh脚本默认会启动所有配置的TaskManager实例。如果你已经启动了所有的TaskManager实例,那么这个脚本就不会再启动新的TaskManager实例。

    你可以通过查看日志来判断是否所有的TaskManager实例都已经启动了。在日志中,你会看到类似于以下的输出:

    JobGraph is available and will be deployed.
    Deployment of job graph has been triggered.
    Submitted job graph to ResourceManager.
    JobGraph is now deployed.
    

    如果在一段时间内没有看到类似的输出,那么可能有一些TaskManager实例还没有启动。

    另外,你也可以通过查看Flink的Web UI来判断是否所有的TaskManager实例都已经启动了。在Web UI中,你会看到所有运行的TaskManager实例。

    如果你想要控制启动的TaskManager实例的数量,你可以通过修改conf/flink-conf.yaml文件来实现。在这个文件中,你可以设置jobmanager.memory.process.sizetaskmanager.memory.process.size参数来控制JobManager和TaskManager的内存大小,从而控制启动的TaskManager实例的数量。

    2023-12-04 16:20:31
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink的start-cluster.sh脚本默认情况下会启动指定数量的TaskManager进程。如果你在启动集群后发现进程数翻倍,可能是因为你的集群配置发生了变化,例如增加了新的TaskManager节点或者修改了TaskManager的数量。

    你可以尝试以下方法来解决这个问题:

    1. 检查你的Flink配置文件(flink-conf.yaml),确保TaskManager的数量设置正确。你可以在这个文件中设置TaskManager的数量,例如:
    taskmanager.numberOfTaskSlots: 4
    

    这将启动4个TaskManager进程。你可以根据你的需求和硬件资源来调整这个值。

    1. 如果你在启动集群时使用了命令行参数来指定TaskManager的数量,请确保这些参数正确无误。例如:
    ./bin/start-cluster.sh -n <number_of_taskmanagers>
    

    <number_of_taskmanagers>替换为你想要启动的TaskManager数量。

    1. 如果你在启动集群后发现进程数翻倍,可能是因为你的集群配置发生了变化。你可以检查你的集群状态,确保所有TaskManager都正常运行。你可以使用以下命令来查看集群状态:
    ./bin/flink list
    
    2023-12-03 21:42:25
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载