开发者社区> 问答> 正文

为什么要使用持久化?

为什么要使用持久化?

展开
收起
游客nxq6attzvywgk 2021-12-06 19:50:28 514 0
1 条回答
写回答
取消 提交回答
  • 因为RDD1经过Action生成新的RDD2之后,原先的RDD1就会被从内存中删除,如果在接下来的操作中还需要复用到RDD1,Spark会一路向上追溯,重新读取数据,然后重新计算出RDD1,然后进行计算。这会增加磁盘IO和计算成本,持久化会保存数据,等下一次Action时直接使用。

    2021-12-06 19:50:59
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载