Spark RDD编程基础(Scala版)

简介: Spark RDD编程基础(Scala版)

RDD :弹性分布式数据集(分布式的元素集合)

Spark中,对数据的所有操作不外乎创建RDD,转化已有的RDD以及调用RDD操作进行求值,Spark会自动将RDD中的数据分发到集群上,并将操作并行化执行。

1、创建RDD

Spark有两种创建RDD的方式,一种是读取外部数据集,一种是在驱动器中对一个集合进行并行化。

最简单的创建RDD的方法就是讲程序中已有的一个集合传给SparkContext的parallelize()方法,这种方法可以快速的创建出RDD并对RDD进行操作,但是这种方法并不常用,方法如下:

val lines = sc.parallelize(List("pandas","i like pandas"))

常用的方法是从外部存储中读取数据来创建RDD,方法如下:

val lines = sc.textFile("/path/to/README.md")

2、RDD操作


RDD支持两种操作:转化操作和行动操作。

转化操作是会返回一个新的RDD的操作,比如map(),filter(),行动操作是向驱动器程序返回结果或者把结果写入外部系统的操作,会触发实际的计算,比如count(),first()。如果在实际操作中分不清自己的操作是什么操作,可以查看当前操作的返回值类型,转化操作返回的是RDD,行动操作返回的是其他类型。

转化操作   (是一种lazy操作)举例:filter()转化    下面程序展示了将log.txt中的error过滤出来。

val inputRDD = sc.textFile("log.txt")
val errorRDD = inputRDD.filter(line => line.contains("error"))

行动操作   会把最终的结果返回到驱动程序,或者写入外部存储系统中,由于行动操作需要生成实际的输出,他们会强制执行那些求值必须用到的RDD的转化操作。


例:在scala中使用行动操作对错误进行计数

println("Input had " + badLinesRDD.count() + "concerning lines")
println("Here are 10 examples:")
badLinesRDD.take(10).foreach(println)

3、常见的转化操作和行动操作


基本RDD


最常用的转化操作是map()和filter()


map()接收一个函数,把这个函数用于RDD中的每一个元素,将函数的返回结果作为结果RDD中对应元素的值。


filter()接收一个函数,并将RDD中满足该函数的元素放入新的RDD中返回。


例:  inputRDD  =  {1,2,3,4}

       Mapped RDD (x*x)  = {1,4,9,16}

       Filtered RDD (x!=1)  = {2,3,4}

代码举例  (计算平方)

val input = sc.parallelize(List(1,2,3,4))
val result = input.map(x => x*x)
println(result.collect().mkString(","))

如果我们希望对每个输出元素生成多个输出元素,实现该功能的操作叫做flatMap()

使用flatMap将行数据切分为单词

val lines = sc.parallelize(List("hello world","hi"))
val words = lines.flatMap(line => line.split(" "))
words.first()   //"返回hello"

map 和 flatmap的区别举例


RDD1 = {"coffee panda","happy panda","happiest panda party"}

tokenize("coffee panda") = List("coffee","panda")

RDD1.map(tokenize) ={["coffee","panda"],["happy","panda"],["happiest","panda","party"]}

RDD1.flatMap(tokenize) ={"coffee","panda","happy","panda","happiest","panda","party"}


伪集合操作


RDD中最常缺失的集合属性是元素的唯一性,因为常常有重复的元素。如果只要唯一的元素,我们可以使用RDD.distinct()转化操作来生成一个只包含不同元素的新RDD。


行动操作


最常见的行动操作reduce()。接收一个函数作为参数,这个函数要操作两个相同元素类型的RDD数据并返回一个同样类型的新元素。举一个简历(函数+)

val sum = rdd.reduce((x,y) => x + y) 

fold()函数的作用和reduce函数相同,但是需要提供一个初始值

rdd.fold(0)((x,y) => x+y)

4、持久化(缓存)


为了避免多次计算同一个RDD,可以让Spark对数据进行持久化,持久化存储一个RDD时,计算出RDD的节点会分别保存他们所求出的分区数据。如果一个有持久化的节点发生故障,Spark会在需要用到缓存的数据时重算丢失的数据分区。如果希望节点故障的情况下不会拖累我们的执行速度,也可以把数据备份到多个节点上。


使用persist()进行持久化操作

import org.apache.spark.storage.StorageLevel
val result = input.map(x => x * x)
result.persist(StorageLevel.DISK_ONLY)
println(result.count())
println(result.collect().mkString(","))

还有一个方法unpersit()可以手动把持久化的RDD从缓存中移除。

相关文章
|
2月前
|
分布式计算 Serverless 数据处理
|
3月前
|
Scala 开发者
Scala中的模式匹配与高阶函数:探索强大的编程范式
【7月更文挑战第11天】Scala中的模式匹配和高阶函数是两种极其强大的特性,它们不仅提升了代码的表达力和可读性,还使得开发者能够编写出更加灵活和可重用的解决方案。通过
|
4月前
|
分布式计算 资源调度 Java
Scala+Spark+Hadoop+IDEA实现WordCount单词计数,上传并执行任务(简单实例-下)
Scala+Spark+Hadoop+IDEA实现WordCount单词计数,上传并执行任务(简单实例-下)
45 0
|
4月前
|
分布式计算 Hadoop Scala
Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数(简单实例-上)
Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数(简单实例-上)
39 0
|
5月前
|
存储 分布式计算 Hadoop
Spark编程实验一:Spark和Hadoop的安装使用
Spark编程实验一:Spark和Hadoop的安装使用
88 4
|
5月前
|
分布式计算 关系型数据库 MySQL
Spark编程实验四:Spark Streaming编程
Spark编程实验四:Spark Streaming编程
101 2
|
5月前
|
SQL 分布式计算 关系型数据库
Spark编程实验三:Spark SQL编程
Spark编程实验三:Spark SQL编程
87 1
|
5月前
|
分布式计算 Shell 开发工具
Spark编程实验二:RDD编程初级实践
Spark编程实验二:RDD编程初级实践
88 1
|
5月前
|
存储 分布式计算 程序员
Spark中的RDD介绍
Spark中的RDD介绍
38 0
|
5月前
|
SQL 存储 分布式计算
在scala中使用spark
在scala中使用spark
278 0