开发者社区> 问答> 正文

spark的调度模式有多少种?

spark的调度模式有多少种?

展开
收起
游客y244y7ln2rlpa 2021-12-07 07:29:47 496 0
1 条回答
写回答
取消 提交回答
  • Spark中的调度模式主要有两种: FIFO和FAIR。默认情况下Spark的调度模式是FIFO (先进先出),谁先提交谁先执行,后面的任务需要等待前面的任务执行。而FAIR(公平调度)模式支持在调度池中为任务进行分组,不同的调度池权重不同,任务可以按照权重来决定执行顺序。使用哪种调度器由参数spark.scheduler.mode来设置,可选的参数有FAIR和FIFO,默认是FIFO。.

    2021-12-07 07:30:43
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载