开发者社区> 问答> 正文

JOB数量多,slot数该如何分配

fangshikun 2019-05-09 17:48:00 225

由于业务特点,FLINK JOB数比较多,但是task manager的slot内存是隔离的,限制了slot的个数上限,导致由于slot不足,job提交失败,有什么解决方案

流计算
分享到
取消 提交回答
全部回答(1)
  • 小六码奴
    2019-07-17 23:35:03

    如果 Task Manager 有四个 slot,那么它将为每个 slot 分配 25% 的内存。 可以在一个 slot 中运行一个或多个线程。 同一 slot 中的线程共享相同的 JVM。 同一 JVM 中的任务共享 TCP 连接和心跳消息。Task Manager 的一个 Slot 代表一个可用线程,该线程具有固定的内存,注意 Slot 只对内存隔离,没有对 CPU 隔离。默认情况下,Flink 允许子任务共享 Slot,即使它们是不同 task 的 subtask,只要它们来自相同的 job。这种共享可以有更好的资源利用率。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题