开发者社区> 问答> 正文

spark在资源申请策略上是怎样选择操作的?

spark在资源申请策略上是怎样选择操作的?

展开
收起
游客coqayqskxr2xe 2021-12-06 21:30:30 619 0
1 条回答
写回答
取消 提交回答
  • 在高层次上,Spark在不再使用时应放弃executors ,在需要时申请executors 。 既然没有确定的方法可以预测即将被删除的executors 是否会在不久的将来执行任务,还是将要添加的新的执行者实际上是空闲的,那么我们需要一套启发式来确定 何时删除,请求executors 。

    2021-12-06 21:30:51
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载