spark 中对多次使用的RDD进行持久化应该怎么做最好?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

spark 中对多次使用的RDD进行持久化应该怎么做最好?

2021-12-07 20:29:04 139 1

spark 中对多次使用的RDD进行持久化应该怎么做最好?

取消 提交回答
全部回答(1)
  • 游客lu6fsp6mkfgcm
    2021-12-07 20:29:20

    cache()方法表示:使用非序列化的方式将RDD中的数据全部尝试持久化到内存中。 此时再对rdd1执行两次算子操作时,只有在第一次执行map算子时,才会将这个rdd1从源头处计算一次。 第二次执行reduce算子时,就会直接从内存中提取数据进行计算,不会重复计算一个rdd。

    0 0
相关问答

1

回答

spark中的RDD有什么特性?

2021-12-06 23:27:50 117浏览量 回答数 1

1

回答

spark中的RDD的特性是什么?

2021-12-07 06:48:49 370浏览量 回答数 1

1

回答

Spark Streaming Duration是什么?

2021-12-08 22:06:59 99浏览量 回答数 1

1

回答

spark streaming是怎么收集和处理数据的?

2021-12-07 22:52:45 104浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有怎样的区别?

2021-12-08 17:05:05 325浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有什么区别?

2021-12-07 19:29:43 83浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有那些区别?

2021-12-08 15:32:46 161浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有些什么区别?

2021-12-08 17:54:39 355浏览量 回答数 1

1

回答

Spark Streaming的容错原理是什么?

2021-12-07 22:51:27 149浏览量 回答数 1

0

回答

Spark Streaming进行流数据处理大致可以分为哪些步骤?

2021-12-07 20:31:19 127浏览量 回答数 0
0
文章
1110
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载