开发者社区> 问答> 正文

Spark中的collect和collectPartitions的区别有什么?

Spark中的collect和collectPartitions的区别有什么?

展开
收起
游客k7rjnht6hbtk6 2021-12-10 14:21:50 371 0
1 条回答
写回答
取消 提交回答
  • collectPartitions产生数据类型不同于collect,collect是将所有RDD汇集到一个数组里,而collectPartitions是将各个分区内所有元素存储到一个数组里,再将这些数组汇集到driver端产生一个数组;collect产生一维数组,而collectPartitions产生二维数组

    2021-12-10 14:22:05
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载