开发者社区 问答 正文

大佬,我还有个问题,如果是打散分发的话,意思是一个job一个taskmanager?感觉这样才能把任

大佬,我还有个问题,如果是打散分发的话,意思是一个job一个taskmanager?感觉这样才能把任务日志分开,如果一个taskmanager里有多个job是不是还会出现类似的情况?

展开
收起
真的很搞笑 2023-04-19 14:14:39 117 分享 版权
2 条回答
写回答
取消 提交回答
  • 你说的我不太理解,感觉你对flink不太熟,此回答整理自钉群“Flink CDC 社区”

    2023-04-19 22:30:18
    赞同 展开评论
  • 随心分享,欢迎友善交流讨论:)

    在Flink中,一个任务可以由多个并行的Task执行,而每个Task是由TaskManager上的一个Task Slot来执行的。当一个任务需要执行的并行度大于TaskManager上的可用Task Slot数时,Flink会将任务打散分发到多个TaskManager上执行。

    具体来说,一个Job可以由多个TaskManager上的Task共同执行,而不是一个Job一个TaskManager。在一个TaskManager上可能会同时运行多个Job的Task,这些Task之间会共享TaskManager上的资源,如CPU、内存等。如果TaskManager上的资源不足以支撑这些Task,就会导致整体性能下降或者任务失败。

    关于任务日志的分离,Flink会将每个Task的日志输出到对应的TaskManager上的日志文件中,这样可以方便地查看和分析Task的运行情况。而多个Job的Task共享TaskManager上的资源,它们的日志会混合在一起输出到同一个日志文件中,但是可以通过日志过滤功能或者日志分析工具来对日志进行过滤和分析。

    2023-04-19 16:21:57
    赞同 展开评论