开发者社区> 问答> 正文
1
0
分享

为什么Spark Application在没有获得足够的资源,job就开始执行了,可能会导致什么问题

为什么Spark Application在没有获得足够的资源,job就开始执行了,可能会导致什么问题发生?

展开
收起
茶什i 2019-10-28 16:12:19 1986 0
举报
1 条回答
写回答
取消 提交回答
  • 答:会导致执行该job时候集群资源不足,导致执行job结束也没有分配足够的资源,分配了部分Executor,该job就开始执行task,应该是task的调度线程和Executor资源申请是异步的;如果想等待申请完所有的资源再执行job的:需要将spark.scheduler.maxRegisteredResourcesWaitingTime设置的很大;spark.scheduler.minRegisteredResourcesRatio 设置为1,但是应该结合实际考虑 否则很容易出现长时间分配不到资源,job一直不能运行的情况。

    2019-10-28 16:32:18 举报
    赞同 展开评论 打赏

    评论

    全部评论 (0)

    登录后可评论
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载

相关实验场景

更多