开发者社区> 问答> 正文

Spark中的调度模式是什么?

Spark中的调度模式是什么?

展开
收起
芯在这 2021-12-07 16:09:07 843 0
1 条回答
写回答
取消 提交回答
  • Spark中的调度模式主要有两种:FIFO和FAIR。

    默认情况下Spark的调度模式是FIFO(先进先出),谁先提交谁先执行,后面的任务需要等待前面的任务执行。而FAIR(公平调度)模式支持在调度池中为任务进行分组,不同的调度池权重不同,任务可以按照权重来决定执行顺序。使用哪种调度器由参数spark.scheduler.mode来设置,可选的参数有FAIR和FIFO,默认是FIFO。

    2021-12-07 16:09:23
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载