开发者社区> 问答> 正文

Spark中的groupByKey([numTasks])方法的作用是什么?

Spark中的groupByKey([numTasks])方法的作用是什么?

展开
收起
游客k7rjnht6hbtk6 2021-12-10 14:16:44 429 0
1 条回答
写回答
取消 提交回答
  • 在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集。注意:默认情况下,使用8个并行任务进行分组,你可以传入numTask可选参数,根据数据量设置不同数目的Task

    2021-12-10 14:16:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载