开发者学堂课程【大数据实时计算框架Spark快速入门：持久化策略_缓存优化_3】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/100/detail/1654
持久化策略_缓存优化_3
package com.bjsxt.spark;
import org.apache.spark. SparkConf;
import org.apache.spark.api.java. JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
public class TeststorageLevel {
public static void main(String[] args) {
SparkConf conf = new SparkConf().setMaster("local").setAppName("TestStorageLevel" );
JavaSparkContext sc = new JavaSparkContext(conf);
//当RDD会被复用的时候通常我们就要使用持久化策略
// 1,持久化策略黑太认的是MEMORY_ONLY
//2,如果内存有些吃紧,可以选择MEMORY_ONLY_SER
//3,当我们的数据想要做一定的容错可以选择使用_2
//4,如果我们的中间结果RDD计算代价比较大,那我们可以选择MEMORY_AND_DISK
//MEMORY_ONLY说白了就是存不下就不存了
//MEMORY_AND_DISK如果内存存不下会存在本地磁盘空间
JavaRDD text = sc.textFile("NASA_access_log_Aug95");
text = text.cache();
//没有做持久化的时候
// 1569898
// cost: 3236
/ / 1569898
/ /cost: 702
使用Memory_Only持久化策略
// 1569898
//cost: 3233
// 1569898
// cost: 724
// 1569898
// cost: 49
long starttime = System.currentTimeMillis();
long count = text.count();
System.out.println(count) ;
long endtime = System.currentTimeMillis();
System.out.print1n( "cost: "+(endtime-starttime));
long starttime2 = System.currentTimeMillis();
long count2 = text.count();
System.out.println(count2);
long endtime2 = System.currentTimeMillis();
System.out.print1n("cost: "+(endtime2-starttime2)) ;
sc.close();
