开发者社区> 问答> 正文

Transformations 算子中的mapPartitions的作用是什么?

Transformations 算子中的mapPartitions的作用是什么?

展开
收起
游客nxq6attzvywgk 2021-12-06 22:02:25 503 0
1 条回答
写回答
取消 提交回答
  • Transformations 算子中的mapPartitions的作用是获取到每个分区的迭代器,在函数中通过这个分区整体的迭代器对整个分区的元素进行操作。内部实现是生成MapPartitionsRDD。

    2021-12-06 22:03:50
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
LEARNINGS USING SPARK STREAMING & DATAFRAMES FOR WALMART SEARCH 立即下载
Lazy Join Optimizations Without Upfront Statistics 立即下载
Data-Aware Spark 立即下载