2.2 Spark基础知识
1.版本变迁
经过4年多的发展，Spark目前的版本是1.4.1。我们简单看看它的版本发展过程。
1）Spark诞生于UCBerkeley的AMP实验室（2009）。
2）Spark正式对外开源（2010年）。
3）Spark 0.6.0版本发布（2012-10-15），进行了大范围的性能改进，增加了一些新特性，并对Standalone部署模式进行了简化。
4）Spark 0.6.2版本发布（2013-02-07），解决了一些bug，并增强了系统的可用性。
5）Spark 0.7.0版本发布（2013-02-27），增加了更多关键特性，例如，Python API、Spark Streaming的alpha版本等。
6）Spark 0.7.2版本发布（2013-06-02），性能改进并解决了一些bug，新增API使用的例子。
7）Spark接受进入Apache孵化器（2013-06-21）。
8）Spark 0.7.3版本发布（2013-07-16），解决一些bug，更新Spark Streaming API等。
9）Spark 0.8.0版本发布（2013-09-25），一些新功能及可用性改进。
10）Spark 0.8.1版本发布（2013-12-19），支持Scala 2.9、YARN 2.2、Standalone部署模式下调度的高可用性、shuffle的优化等。
11）Spark 0.9.0版本发布（2014-02-02），增加了GraphX，机器学习新特性，流式计算新特性，核心引擎优化（外部聚合、加强对YARN的支持）等。
12）Spark 0.9.1版本发布（2014-04-09），增强使用YARN的稳定性，改进Scala和Python API的奇偶性。
13）Spark 1.0.0版本发布（2014-05-30），Spark SQL、MLlib、GraphX和Spark Streaming都增加了新特性并进行了优化。Spark核心引擎还增加了对安全YARN集群的支持。
14）Spark 1.0.1版本发布（2014-07-11），增加了Spark SQL的新特性和对JSON数据的支持等。
15）Spark 1.0.2版本发布（2014-08-05），Spark核心API及Streaming、Python、MLlib的bug修复。
16）Spark 1.1.0版本发布（2014-09-11）。
17）Spark 1.1.1版本发布（2014-11-26），Spark核心API及Streaming、Python、SQL、GraphX和MLlib的bug修复。
18）Spark 1.2.0版本发布（2014-12-18）。
19）Spark 1.2.1版本发布（2015-02-09），Spark核心API及Streaming、Python、SQL、GraphX和MLlib的bug修复。
20）Spark 1.3.0版本发布（2015-03-13）。
21）Spark 1.4.0版本发布（2015-06-11）。
22）Spark 1.4.1版本发布（2015-07-15），DataFrame API及Streaming、Python、SQL和MLlib的bug修复。
2.基本概念
要想对Spark有整体性的了解，推荐读者阅读Matei Zaharia的Spark论文。此处笔者先介绍Spark中的一些概念：
RDD（resillient distributed dataset）：弹性分布式数据集。
Task：具体执行任务。Task分为ShuffleMapTask和ResultTask两种。ShuffleMapTask和ResultTask分别类似于Hadoop中的Map和Reduce。
Job：用户提交的作业。一个Job可能由一到多个Task组成。
Stage：Job分成的阶段。一个Job可能被划分为一到多个Stage。
Partition：数据分区。即一个RDD的数据可以划分为多少个分区。
NarrowDependency：窄依赖，即子RDD依赖于父RDD中固定的Partition。Narrow-Dependency分为OneToOneDependency和RangeDependency两种。
ShuffleDependency：shuffle依赖，也称为宽依赖，即子RDD对父RDD中的所有Partition都有依赖。
DAG（directed acycle graph）：有向无环图。用于反映各RDD之间的依赖关系。
3. Scala与Java的比较
Spark为什么要选择Java作为开发语言？笔者不得而知。如果能对二者进行比较，也许能看出一些端倪。表2-1列出了Scala与Java的比较。
表2-1 Scala与Java的比较
比项项 Scala Java
语言类型 面向函数为主，兼有面向对象 面向对象（Java8也增加了lambda函数编程）
简洁性 非常简洁 不简洁
类型推断 丰富的类型推断，例如深度和链式的类型推断、 duck type、隐式类型转换等，但也因此增加了编译时长 少量的类型推断
可读性 一般，丰富的语法糖导致的各种奇幻用法，例如方法签名 好
学习成本 较高 一般
语言特性 非常丰富的语法糖和更现代的语言特性，例如 Option、模式匹配、使用空格的方法调用 丰富
并发编程 使用Actor的消息模型 使用阻塞、锁、阻塞队列等
通过以上比较似乎仍然无法判断Spark选择Java作为开发语言的原因。由于函数式编程更接近计算机思维，因此便于通过算法从大数据中建模，这应该更符合Spark作为大数据框架的理念吧！
