[Spark]Spark RDD 指南三 弹性分布式数据集(RDD)

简介: Spark2.3.0 版本: Spark2.3.0 创建RDDSpark的核心概念是弹性分布式数据集(RDD),RDD是一个可容错、可并行操作的分布式元素集合。

Spark2.3.0 版本Spark2.3.0 创建RDD

Spark的核心概念是弹性分布式数据集(RDD),RDD是一个可容错、可并行操作的分布式元素集合。有两种方法可以创建RDD对象:

  • 在驱动程序中并行化操作集合对象来创建RDD
  • 从外部存储系统中引用数据集(如:共享文件系统、HDFS、HBase或者其他Hadoop支持的数据源)。

1. 并行化集合

通过在驱动程序中的现有集合上调用JavaSparkContextparallelize方法创建并行化集合(Parallelized collections)。集合的元素被复制以形成可以并行操作的分布式数据集。 例如,下面是如何创建一个包含数字1到5的并行化集合:

Java版本:

List<Integer> list = Arrays.asList(1,2,3,4,5);
JavaRDD<Integer> rdd = sc.parallelize(list);

Scala版本:

val data = Array(1, 2, 3, 4, 5)
val distData = sc.parallelize(data)

Python版本:

data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)

RDD一旦创建,分布式数据集(distData)可以并行操作。 例如,我们可以调用distData.reduce((a,b) - > a + b)来实现对列表元素求和。 我们稍后介绍分布式数据集的操作。

并行化集合的一个重要参数是分区(partition)数,将分布式数据集分割成多少分区。Spark集群中每个分区运行一个任务(task)。典型场景下,一般为每个CPU分配2-4个分区。但通常而言,Spark会根据你集群的状况,自动设置分区数。当然,你可以给parallelize方法传递第二个参数来手动设置分区数(如:sc.parallelize(data, 10))。注意:Spark代码里有些地方仍然使用分片(slice)这个术语(分区的同义词),主要为了保持向后兼容。

2. 外部数据集

Spark可以从Hadoop支持的任何存储数据源创建分布式数据集,包括本地文件系统,HDFS,Cassandra,HBase,Amazon S3等。Spark可以支持文本文件,SequenceFiles以及任何其他Hadoop 输入格式。

文本文件RDD可以使用SparkContexttextFile方法创建。该方法根据URL获取文件(机器上的本地路径,或hdfs://s3n://等等). 下面是一个示例调用:

Java版本:

JavaRDD<String> distFile = sc.textFile("data.txt");

Scala版本:

scala> val distFile = sc.textFile("data.txt")
distFile: org.apache.spark.rdd.RDD[String] = data.txt MapPartitionsRDD[10] at textFile at <console>:26

Python版本:

>>> distFile = sc.textFile("data.txt")

一旦创建完成,distFiile 就能做数据集操作。例如,我们可以用下面的方式使用 map 和 reduce 操作将所有行的长度相加:

distFile.map(s -> s.length()).reduce((a, b) -> a + b);

Spark读文件时一些注意事项:

(1) 如果使用本地文件系统路径,在所有工作节点上该文件必须都能用相同的路径访问到。要么复制文件到所有的工作节点,要么使用网络的方式共享文件系统。

(2) Spark 所有基于文件的输入方法,包括 textFile,能很好地支持文件目录,压缩过的文件和通配符。例如,你可以使用:

textFile("/my/directory")
textFile("/my/directory/*.txt")
textFile("/my/directory/*.gz")

(3) textFile 方法也可以选择第二个可选参数来控制文件分区(partitions)数目,默认情况下,Spark为每一个文件块创建一个分区(HDFS中分块大小默认为128MB),你也可以通过传递一个较大数值来请求更多分区。 注意的是,分区数目不能少于分块数目。

除了文本文件,Spark的Java API还支持其他几种数据格式:

(1) JavaSparkContext.wholeTextFiles可以读取包含多个小文本文件的目录,并将它们以(文件名,内容)键值对返回。 这与textFile相反,textFile将在每个文件中每行返回一条记录。

JavaPairRDD<String, String> rdd = sc.wholeTextFiles("/home/xiaosi/wholeText");
List<Tuple2<String, String>> list = rdd.collect();
for (Tuple2<?, ?> tuple : list) {
    System.out.println(tuple._1() + ": " + tuple._2());
}

(2) 对于SequenceFiles,可以使用SparkContext的sequenceFile [K,V]方法,其中K和V是文件中的键和值的类型。 这些应该是Hadoop的Writable接口的子类,如IntWritable和Text。

(3) 对于其他Hadoop InputFormats,您可以使用JavaSparkContext.hadoopRDD方法,该方法采用任意JobConf和输入格式类,键类和值类。 将这些设置与使用输入源的Hadoop作业相同。 您还可以使用基于“新”MapReduce API(org.apache.hadoop.mapreduce)的InputFormats的JavaSparkContext.newAPIHadoopRDD。

(4) JavaRDD.saveAsObjectFile 和 SparkContext.objectFile 支持保存一个RDD,保存格式是一个简单的 Java 对象序列化格式。这是一种效率不高的专有格式,如 Avro,它提供了简单的方法来保存任何一个 RDD。

原文:http://spark.apache.org/docs/latest/programming-guide.html#resilient-distributed-datasets-rdds

目录
相关文章
|
1月前
|
分布式计算 并行计算 大数据
Spark学习---day02、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
Spark学习---day02、Spark核心编程 RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
|
1月前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
1月前
|
分布式计算 Java Scala
Spark学习---day03、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
Spark学习---day03、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
|
17天前
|
分布式计算 Hadoop 大数据
分布式计算框架比较:Hadoop、Spark 与 Flink
【5月更文挑战第31天】Hadoop是大数据处理的开创性框架,专注于大规模批量数据处理,具有高扩展性和容错性。然而,它在实时任务上表现不足。以下是一个简单的Hadoop MapReduce的WordCount程序示例,展示如何统计文本中单词出现次数。
51 0
|
19天前
|
存储 分布式计算 程序员
Spark中的RDD介绍
Spark中的RDD介绍
20 0
|
28天前
|
分布式计算 Shell 开发工具
Spark编程实验二:RDD编程初级实践
Spark编程实验二:RDD编程初级实践
27 1
|
28天前
|
SQL 分布式计算 Hadoop
Spark分布式内存计算框架
Spark分布式内存计算框架
51 0
|
1月前
|
分布式计算 Spark
Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
【2月更文挑战第14天】Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
44 1
|
1月前
|
分布式计算 Hadoop Java
Spark【基础知识 03】【RDD常用算子详解】(图片来源于网络)
【2月更文挑战第14天】Spark【基础知识 03】【RDD常用算子详解】(图片来源于网络)
69 1
|
1月前
|
存储 缓存 分布式计算
Spark【基础知识 02】【弹性式数据集RDDs】(部分图片来源于网络)
【2月更文挑战第13天】Spark【基础知识 02】【弹性式数据集RDDs】(部分图片来源于网络)
48 1

热门文章

最新文章