开发者社区> 问答> 正文

spark 中对多次使用的RDD进行持久化应该怎么做最好?

spark 中对多次使用的RDD进行持久化应该怎么做最好?

展开
收起
游客ahv54x37wvm7u 2021-12-07 20:29:04 400 0
1 条回答
写回答
取消 提交回答
  • cache()方法表示:使用非序列化的方式将RDD中的数据全部尝试持久化到内存中。 此时再对rdd1执行两次算子操作时,只有在第一次执行map算子时,才会将这个rdd1从源头处计算一次。 第二次执行reduce算子时,就会直接从内存中提取数据进行计算,不会重复计算一个rdd。

    2021-12-07 20:29:20
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载