开发者社区> 问答> 正文

Spark并行度怎么设置比较合适

Spark并行度怎么设置比较合适

展开
收起
茶什i 2019-10-28 16:07:25 916 0
1 条回答
写回答
取消 提交回答
  • 答:spark并行度,每个core承载2~4个partition,如,32个core,那么64~128之间的并行度,也就是 设置64~128个partion,并行读和数据规模无关,只和内存使用量和cpu使用 时间有关

    2019-10-28 16:29:30
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载