安装Scala-2.11.7——集群学习日记
安装Scala-2.11.7——集群学习日记
前言
在安装Spark之前,我们需要安装Scala语言的支持。在此我选择的是scala-2.11.7版本。
scala-2.11.7下载
为了方便,我现在我的SparkMaster主机上先安装,把目录打开到/usr目录下,与我的Java目录相一致。
Spark学习之RDD编程(2)
Spark学习之RDD编程(2)
1. Spark中的RDD是一个不可变的分布式对象集合。
2. 在Spark中数据的操作不外乎创建RDD、转化已有的RDD以及调用RDD操作进行求值。
3. 创建RDD:1)读取一个外部数据集2)在驱动器程序里分发驱动器程序中的对象集合。
4. RDD支持的操作:
1)转换操作,由一个RDD生成一个新的RDD。
2)行动