开发者社区> 问答> 正文

MaxCompute Spark中Executor Cores资源参数如何调优?

MaxCompute Spark中Executor Cores资源参数如何调优?

展开
收起
芯在这 2021-12-12 22:52:30 717 0
1 条回答
写回答
取消 提交回答
  • Executor Cores

    相关参数:spark.executor.cores

    每个Executor的核数,即每个Executor中的可同时运行的task数目

    Spark任务的最大并行度是num-executors * executor-cores

    Spark任务执行的时候,一个CPU core同一时间最多只能执行一个Task。如果CPU core数量比较充足,通常来说,可以比较快速和高效地执行完这些Task。同时也要注意,每个Executor的内存是多个Task共享的,如果单个Executor核数太多,内存过少,那么也很可能发生OOM。

    2021-12-12 22:52:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载