AI 助理
备案控制台
开发者社区 问答 正文

Spark中的collect和collectPartitions的区别有什么？

Spark中的collect和collectPartitions的区别有什么？

展开
收起
游客k7rjnht6hbtk6 2021-12-10 14:21:50 415 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客daliwbfb2wo66

    collectPartitions产生数据类型不同于collect，collect是将所有RDD汇集到一个数组里，而collectPartitions是将各个分区内所有元素存储到一个数组里，再将这些数组汇集到driver端产生一个数组；collect产生一维数组，而collectPartitions产生二维数组

    2021-12-10 14:22:05
    赞同 展开评论
问答分类：
分布式计算 Spark
问答标签：
apache spark collect
问答地址：
开发者社区 > 大数据 > 问答
相关问答
serverless spark 和 emr on ack中spark集群类型区别是什么？
96
1
0
大数据计算MaxCompute中Spark跑oss数据，这几个有啥区别？
174
1
0
storm&spark2中忽略和覆盖的区别在哪里呀？
1310
1
0
Spark Local和Standalone具体有什么区别？
1245
1
0
Spark streamning工作流程具体是怎么样的，和Storm比具体有什么区别？
634
1
0
Spark 的 ML 和 MLLib 两个包区别和联系是什么？
701
1
0
Spark streamning工作流程是怎么样的，和Storm比有什么区别？
638
1
0
MaxCompute Spark中Local模式与Yarn-Cluster模式的网络环境的区别是？
992
1
0
MaxCompute Spark中Spark UI和Spark History UI的区别是啥？
666
1
0
Spark on MaxCompute在Spark客户端提交作业时与开源模式的区别是啥？
1111
1
0