开发者社区> 问答> 正文

Spark提交作业的参数是什么?

Spark提交作业的参数是什么?

展开
收起
芯在这 2021-12-06 23:11:29 259 0
1 条回答
写回答
取消 提交回答
  • executor-cores —— 每个executor使用的内核数,默认为1,官方建议2-5个,我们企业是4个

    num-executors —— 启动executors的数量,默认为2

    executor-memory —— executor内存大小,默认1G

    driver-cores —— driver使用内核数,默认为1

    driver-memory —— driver内存大小,默认512M

    2021-12-06 23:11:49
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载