开发者社区> 问答> 正文

为什么Spark Application在没有获得足够的资源,job就开始执行了,可能会导致什么问题

为什么Spark Application在没有获得足够的资源,job就开始执行了,可能会导致什么问题发生?

展开
收起
茶什i 2019-10-28 16:12:19 1977 0
1 条回答
写回答
取消 提交回答
  • 答:会导致执行该job时候集群资源不足,导致执行job结束也没有分配足够的资源,分配了部分Executor,该job就开始执行task,应该是task的调度线程和Executor资源申请是异步的;如果想等待申请完所有的资源再执行job的:需要将spark.scheduler.maxRegisteredResourcesWaitingTime设置的很大;spark.scheduler.minRegisteredResourcesRatio 设置为1,但是应该结合实际考虑 否则很容易出现长时间分配不到资源,job一直不能运行的情况。

    2019-10-28 16:32:18
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载