开发者社区> 问答> 正文

Spark Application在没有获得足够的资源,job就开始执行会产生什么问题?

Spark Application在没有获得足够的资源,job就开始执行会产生什么问题?

展开
收起
芯在这 2021-12-07 17:15:37 453 0
1 条回答
写回答
取消 提交回答
  • 会导致执行该job时候集群资源不足,导致执行job结束也没有分配足够的资源,分配了部分Executor,该job就开始执行task,应该是task的调度线程和Executor资源申请是异步的;如果想等待申请完所有的资源再执行job的:需要将spark.scheduler.maxRegisteredResourcesWaitingTime设置的很大;spark.scheduler.minRegisteredResourcesRatio 设置为1,但是应该结合实际考虑

    否则很容易出现长时间分配不到资源,job一直不能运行的情况。

    2021-12-07 17:15:55
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载