开发者社区> 问答> 正文

spark 运行模式 local local[] local[*] 分别是什么

spark 运行模式 local local[] local[*] 分别是什么

展开
收起
愚笨如你 2020-02-14 19:21:24 1124 0
1 条回答
写回答
取消 提交回答
  • 该模式被称为 Local[N] 模式,是用单机的多个线程来模拟 Spark 分布式计算,通常用来验证开发出来的应用程序逻辑上有没有问题其中N代表可以使用 N 个线程,每个线程拥有一个 core 。如果不指定 N,则默认是1个线程(该线程有1个 core )。如果是 local[*],则代表 Run Spark locally with as many worker threads as logical cores on your machine: 在本地运行Spark,与您的机器上的逻辑内核一样多的工作线程。

    2020-02-14 19:21:45
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载