初窥Spark

• IBM中国开发中心高级软件工程师

• 具有多年的数据库软件开发设计经验，擅长解决复杂的数据库应用系统问题及性能优化，拥有DB2多项认证和Oracle OCP证书

• 合作出版了《DB2设计，管理与性能优化艺术》《DB2性能管理与实战》

• 自从2007年加入IBM以来，一直从事DB2相关工具的开发与研究，现在专注Spark工具的初创研究

一、前言

Spark作为现在大数据领域最火热的技术，被称为将会是下个十所最重要的开源技术，其基于内存的计算速度100倍速于Hadoop MapReduce，基于磁盘的运算速度也比Hadoop MapReduce要快10倍，它易于使用，Spark提供了80个以上的高阶操作使你很容易的使用Java，Scala，Python，R等语言快速地构建分布式应用，你也可以Scala，Python和R shells进行交互式分析。作为一种通用数据处理引擎，你可以组合使用SQL，流处理等技术来进行复杂的分析，它能够运行在Hadoop，Mesos，standalone或者云环境下，也能够访问HDFS，Cassandra，HBase和S3等多种存储，下面我们从Spark的诞生背景开始讨论它是如何实现这些优势的。

二、Spark诞生的背景

MapReduce计算模型的诞生，极大的加速了大数据时代的到来（如果不熟悉MapReduce概念可以参考“我是如何向老婆解释MapReduce的？”这篇Blog），在许多情况下，可以将MapReduce视为关系型数据库管理系统的补充。两个系统的差异如下表。

MapReduce比较适合以批处理方式处理需要分析整个数据集的问题，随着MapReduce技术的发展，除了批处理类型的工作负载外，越来越多独立系统被开发出处理不同的工作负载。

Google就开发了Pregel来处理图形计算，Dremel来处理交互式SQL，也有自己流处理引擎。而开源的Hadoop体系也自己对应的处理引擎，每一种工作负责的处理都是由不同的引擎来负责，这样很难去部署，优化和管理众多的系统，而且这些工作流之种也很组合在一起形成流水线（Pipeline）。

为了消除这种复杂性，Spark被设计为统一的大数据处理引擎，将批处理，交互式，迭代和流处理等有机的组合在Spark中。

Spark创始人认为，大多数的数据分析活动是探索性交互式的，Spark为这种探索性交互方式设计了Resilient Distributed Datasets(RDDs)，对具有简单函数式编程接口的分布式数据集合的抽象。可以理解RDD就是分页在不同机器上的List，当遇到错误的时候，这些List能够被恢复。

lines=sc.textFile(“hdfs://....”)

points = lines.map(line => parsePoint(line))

points.filter(p => p.x>100).count()

如上面的Scala代码，RDD通常开始从HDFS文件系统读取文本文件开始，lines这个RDD由字符串组成，每个元素都对应着文本文件中的一行。调用map函数，可以将RDD转换成包含点元素的ponits集合。可以过滤这个集合并计算符合要求的点的数量。

总而言之：Spark是一个统一的大数据处理引擎，它有机的组合了批处理，交互式，流处理和图计算处理能力，并以RDD抽象为基础，提供了简洁的函数式编程API来支持交互式的探索性数据分析处理手段。

三、Spark的核心概念

1）Resilient Distributed Dataset (RDD)弹性分布数据集

RDD弹性分布式数据集是分布式的只读的且已分区的集合对象，是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。这些集合是弹性的，如果数据集的一部分丢失，则可以对它们进行重建。具有自动容错，位置感知调试和可伸缩性，而容错性最难实现的。大多数分布式数据集的容错性有两种方式：数据检查点和记录数据的更新，对于大规模数据分析系统，数据检查点操作成本很高，主要原因是大规模数据在服务器之间的传输会带来各方面的问题，相比记录数据的更新，RDD只支持粗粒度的轮换，也就是记录如何从其他RDD转换而来，以便恢复丢失的分区。RDD必须是可序列化的。RDD可以cache到内存 中，每次对RDD数据集的操作之后的结果，都可以存放到内存中，下一个操作可以直接从内存中输入，省去了MapReduce大量的磁盘IO操作。这对于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说，效率提升比较大。

2）RDD编程接口

作为Spark的目标之一，Spark提供了丰富的API来操作这些数据集，RDD包含2类API。

Transformations——转换操作，这类操作的返回值还是一个RDD，常用的有map、filter、sort等，变形操作采用的是懒策略，如果只是将转换操作提交是不会提交任务来执行的。

Spark支持的转换操作可参考以下链接：Transformations

Actions——动作操作，这类操作或者返回结果，或者将RDD存储起来，如count,save等等，当动作操作提交时，任务执行立即被触发。

Spark支持的动作操作可参考以下链接：Actions

3）RDD依赖关系

如上图，RDD之间有两种依赖：

窄依赖（Narrow Dependency)——一个父RDD最多被一个子RDD引用，如map,filter，union等等。

宽依赖（Wide Dependencies）——一个父RDD被多个子RDD引用，如groupByKey。

4）Stage DAG

如图Spark提交Job之后会把Job生成多个Stage，多个Stage之间是有依赖的，如上面Stage3就依赖于Stage1和Stage2，Stage之间的依赖关系就构成了DAG（有向无环图）。Spark通常会将窄依赖的RDD转换放在同一个Stage中，而对于宽依赖，通常会发生Shuffle操作，Spark通常将Shuffle操作定义为stage的边界。

5）Spark运行模式

在了解RDD和DAG的基础下，我们来看看，Spark是如果对资源管理与作业调度来完成实际的分析任务。

Spark支持如下运行模式：

Local模式：单机运行环境，通常用于测试开发

伪分布模式：在单机环境下，模仿分布集群运行模式，也用于测试开发

集群模式：Spark支持多种集群管理器

1.Standalone模式，对于资源管理与作业调度由Spark集群来完成。

在这种模式下，Driver负责创建SparkContext来为应用的运行准备运行环境，SparkContext负责与集群管理器通信，进行资源的申请，任务的分配和监控等，在Worker节点上运行的Executor工作进程在完成分配的任务后，Driver同时负责将SparkContext关闭。通常用SparkContext代表Driver。

2. Spark on Yarn模式

Spark应用的资源与调度由Yarn来管理 ，Spark on Yarn遵循YARN的官方规范实现，得益于Spark天生支持多种Scheduler和Executor的良好设计，对YARN的支持也就非常容 易，Spark on Yarn的大致框架图。

3.Spark也可运行在Mesos集群管理器上

四、Spark的组件

1）Spark SQL

Spark SQL是Spark用来处理结构化数据的模块，它提供了叫做DataFrames的编程抽象，也叫做分布式SQL查询引擎，这个概念在Spark1.5中引入。一个DataFrame就是一个由命名列组织的分布式数据集。它在概念上等同关系型数据库中表或者R/Python中的数据框。DataFrames能够由多种方式构建，例如：结构化数据文件，Hive中的表，外部数据库或者已有RDD。

DataFrame API支持Scala，Java，Python和R语言，下面是使用语言Scala操作DataFrame的简单实例。

2）Spark Streaming

Spark流程处理模块扩展了Spark的核心API来支持，可伸缩，高吞吐量，可容错的实时的流数据处理，数据可以从不同的来源注入，例如Kafka，Flume，Twitter,ZeroMQ，Kinesis或者TCP sockets. 可以对这些实时数据运用高级函数例如map,reduce,join结合窗口机制作一些复杂的数理运算，最终的处理结果可以推送到文件系统，数据库，实时仪表盘显示，也可使用Spark机器学习算法或者图计算处理引擎来处理这些实时数据。

Spark的内部工作机制如下，Spark Stream接收到实时数据流，按照一定时间将数据流分隔成批，然后由Spark引擎依次处理这些批量数据来获取最终的结果。

Spark Streaming提供的高阶抽象叫做“离散流”或者DStream,它代表一个持续的数据流。Dstreams能够从Kafka,Flumea和Kinesis数据源创建或者从其它DStreams转换而来。在内部，DStream代表序列化RDDs。

流计算技术通常用来处理实时业务分析，例如实时日志收集和预警系统等等。

3）Machine Learning Library

MLlib是Spark的机器学习库，其目标使实际的机器学习运算简单和可伸缩。它由一些通用的学习算法和辅助类组成，包括分类、回归、聚类、协同过滤、降维等和一些底层的优化手段和API。

4）GraphX

GraphX是 Spark中用于图(e.g., Web-Graphs and Social Networks)和图并行计算(e.g., PageRank and Collaborative Filtering)的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化，跟其他分布式 图计算框架相比，GraphX最大的贡献是，在Spark之上提供一栈式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。

GraphX能过引入Graph抽象来扩展Spark RDD：由附有属性的点和边组成的有向多边形。GraphX提供了一些基本的图计算操作集(如：subgraph,joinVertices和aggregateMessages)和一个经过优化的Pregel API变体。GraphX所包含的图形算法还在持续的增加和构建以使对于图分析任务更简单。

图算法通常用来处理最短路径，社交网络分析等等，比较有名的图算法就是Google计算网页链接权重的PageRank。

五、结束语

Spark基于RDD的抽象，结合DAG，延迟计算等技术，尽可能充分利用内存迭代避免低效的磁盘读写，来提高运算速度，并以这个抽象为基础，将批处理，机器学习，流处理和图计算能多种工作负载有机的统一到其运算平台中，并且能够组合这些技术来进行复杂的分析任务，例如将流处理获得数据实时的分发的机器学习模块进行实时预测。其提供的高阶操作接口和各种便利的计算库，使得开发能够专注于自己的业务，使用它们快速的开发自己的应用。

通过上面的介绍，相信读者已经了解Spark的基本的了解，如果想进一步的学习Spark的知识，可以访问Big Data University，其中包含许多免费的MOOC、IBM也提供了Spark服务平台来免费试用。