《循序渐进学Spark》一第2章-阿里云开发者社区

开发者社区> 华章出版社> 正文

《循序渐进学Spark》一第2章

简介:
 本节书摘来自华章出版社《循序渐进学Spark》一书中的第2章,第2.1节,作者 小象学院 杨 磊,更多章节内容可以访问云栖社区“华章计算机”公众号查看。


第2章

Spark 编程模型

与Hadoop相比,Spark最初为提升性能而诞生。Spark是Hadoop MapReduce的演化和改进,并兼容了一些数据库的基本思想,可以说,Spark一开始就站在Hadoop与数据库这两个巨人的肩膀上。同时,Spark依靠Scala强大的函数式编程Actor通信模式、闭包、容器、泛型,并借助统一资源调度框架,成为一个简洁、高效、强大的分布式大数据处理框架。

Spark在运算期间,将输入数据与中间计算结果保存在内存中,直接在内存中计算。另外,用户也可以将重复利用的数据缓存在内存中,缩短数据读写时间,以提高下次计算的效率。显而易见,Spark基于内存计算的特性使其擅长于迭代式与交互式任务,但也不难发现,Spark需要大量内存来完成计算任务。集群规模与Spark性能之间呈正比关系,随着集群中机器数量的增长,Spark的性能也呈线性增长。接下来介绍Spark编程模型。

2.1 RDD弹性分布式数据集

通常来讲,数据处理有几种常见模型:Iterative Algorithms、Relational Queries、Map-

Reduce、Stream Processing。例如,Hadoop MapReduce采用了MapReduce模型,Storm则采用了Stream Processing模型。

与许多其他大数据处理平台不同,Spark建立在统一抽象的RDD之上,而RDD混合了上述这4种模型,使得Spark能以基本一致的方式应对不同的大数据处理场景,包括MapReduce、Streaming、SQL、Machine Learning以及Graph等。这契合了Matei Zaharia提出的原则:“设计一个通用的编程抽象(Unified Programming Abstraction)”,这也正是Spark的魅力所在,因此要理解Spark,先要理解RDD的概念。

2.1.1 RDD简介

RDD(Resilient Distributed Datasets,弹性分布式数据集)是一个容错的、并行的数据结构,可以让用户显式地将数据存储到磁盘或内存中,并控制数据的分区。RDD还提供了一组丰富的操作来操作这些数据,诸如map、flatMap、filter等转换操作实现了monad模式,很好地契合了Scala的集合操作。除此之外,RDD还提供诸如join、groupBy、reduceByKey等更为方便的操作,以支持常见的数据运算。

RDD是Spark的核心数据结构,通过RDD的依赖关系形成Spark的调度顺序。所谓Spark应用程序,本质是一组对RDD的操作。

下面介绍RDD的创建方式及操作算子类型。

RDD的两种创建方式

从文件系统输入(如HDFS)创建

从已存在的RDD转换得到新的RDD

RDD的两种操作算子

Transformation(变换)

Transformation类型的算子不是立刻执行,而是延迟执行。也就是说从一个RDD变换为另一个RDD的操作需要等到Action操作触发时,才会真正执行。

Action(行动)

Action类型的算子会触发Spark提交作业,并将数据输出到Spark系统。

2.1.2 深入理解RDD

RDD从直观上可以看作一个数组,本质上是逻辑分区记录的集合。在集群中,一个RDD可以包含多个分布在不同节点上的分区,每个分区是一个dataset片段,如图2-1所示。

db3d6dc412dfc037e001eac1ee6aab7d05317514

在图2-1中,RDD-1含有三个分区(p1、p2和p3),分布存储在两个节点上:node1与node2。RDD-2只有一个分区P4,存储在node3节点上。RDD-3含有两个分区P5和P6,存储在node4节点上。

1.  RDD依赖

RDD可以相互依赖,如果RDD的每个分区最多只能被一个Child RDD的一个分区使用,则称之为窄依赖(narrow dependency);若多个Child RDD分区都可以依赖,则称之为宽依赖(wide dependency)。不同的操作依据其特性,可能会产生不同的依赖。例如,map操作会产生窄依赖,join操作则产生宽依赖,如图2-2所示。

92cb72d2234403f8a88981326cd4e9a412e86be9

2. RDD支持容错性

支持容错通常采用两种方式:日志记录或者数据复制。对于以数据为中心的系统而言,这两种方式都非常昂贵,因为它需要跨集群网络拷贝大量数据。

RDD天生是支持容错的。首先,它自身是一个不变的(immutable)数据集,其次,RDD之间通过lineage产生依赖关系(在下章继续探讨这个话题),因此RDD能够记住构建它的操作图,当执行任务的Worker失败时,完全可以通过操作图获得之前执行的操作,重新计算。因此无须采用replication方式支持容错,很好地降低了跨网络的数据传输成本。

3. RDD的高效性

RDD提供了两方面的特性:persistence(持久化)和partitioning(分区),用户可以通过persist与partitionBy函数来控制这两个特性。RDD的分区特性与并行计算能力(RDD定义了parallerize函数),使得Spark可以更好地利用可伸缩的硬件资源。如果将分区与持久化二者结合起来,就能更加高效地处理海量数据。

另外,RDD本质上是一个内存数据集,在访问RDD时,指针只会指向与操作相关的部分。例如,存在一个面向列的数据结构,其中一个实现为Int型数组,另一个实现为Float型数组。如果只需要访问Int字段,RDD的指针可以只访问Int数组,避免扫描整个数据结构。

再者,如前文所述,RDD将操作分为两类:Transformation与Action。无论执行了多少次Transformation操作,RDD都不会真正执行运算,只有当Action操作被执行时,运算才会触发。而在RDD的内部实现机制中,底层接口则是基于迭代器的,从而使得数据访问变得更高效,也避免了大量中间结果对内存的消耗。

在实现时,RDD针对Transformation操作,提供了对应的继承自RDD的类型,例如,map操作会返回MappedRDD,flatMap则返回FlatMappedRDD。执行map或flatMap操作时,不过是将当前RDD对象传递给对应的RDD对象而已。

2.1.3 RDD特性总结

RDD是Spark的核心,也是整个Spark的架构基础。它的特性可以总结如下:

1) RDD是不变的(immutable)数据结构存储。

2) RDD将数据存储在内存中,从而提供了低延迟性。

3) RDD是支持跨集群的分布式数据结构。

4) RDD可以根据记录的Key对结构分区。

5) RDD提供了粗粒度的操作,并且都支持分区。


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

华章出版社

官方博客
官网链接