开发者社区> 问答> 正文

Spark RDD中的collect()方法的作用是什么?

Spark RDD中的collect()方法的作用是什么?

展开
收起
游客k7rjnht6hbtk6 2021-12-10 14:10:09 502 0
1 条回答
写回答
取消 提交回答
  • 在Driver的程序中,以数组的形式,返回数据集的所有元素。这通常会在使用filter或者其它操作后,返回一个足够小的数据子集再使用,直接将整个RDD集Collect返回,很可能会让Driver程序OOM

    2021-12-10 14:10:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载