开发者社区> 问答> 正文

Spark中的reduceByKey(func, [numTasks])方法的作用是什么?

Spark中的reduceByKey(func, [numTasks])方法的作用是什么?

展开
收起
游客k7rjnht6hbtk6 2021-12-10 14:17:10 318 0
1 条回答
写回答
取消 提交回答
  • 在一个(K,V)对的数据集上使用,返回一个(K,V)对的数据集,key相同的值,都被使用指定的reduce函数聚合到一起。和groupbykey类似,任务的个数是可以通过第二个可选参数来配置的。

    2021-12-10 14:17:22
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载