开发者社区> 问答> 正文

JOB数量多,slot数该如何分配

由于业务特点,FLINK JOB数比较多,但是task manager的slot内存是隔离的,限制了slot的个数上限,导致由于slot不足,job提交失败,有什么解决方案

展开
收起
fangshikun 2019-05-09 17:48:00 4212 0
1 条回答
写回答
取消 提交回答
  • 如果 Task Manager 有四个 slot,那么它将为每个 slot 分配 25% 的内存。 可以在一个 slot 中运行一个或多个线程。 同一 slot 中的线程共享相同的 JVM。 同一 JVM 中的任务共享 TCP 连接和心跳消息。Task Manager 的一个 Slot 代表一个可用线程,该线程具有固定的内存,注意 Slot 只对内存隔离,没有对 CPU 隔离。默认情况下,Flink 允许子任务共享 Slot,即使它们是不同 task 的 subtask,只要它们来自相同的 job。这种共享可以有更好的资源利用率。

    2019-07-17 23:35:03
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
对 2000 多亿条数据做一次 group by 需要多久? 立即下载
对2000多亿条数据做一次Group By 需要多久 立即下载
低代码开发师(初级)实战教程 立即下载