本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.3节,作者:高彦杰 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1.3 Spark架构
从上文介绍可以看出，Spark是整个BDAS的核心。生态系统中的各个组件通过Spark来实现对分布式并行任务处理的程序支持。
1．Spark的代码结构
图1-3展示了Spark-1.0的代码结构和代码量（不包含Test和Sample代码），读者可以通过代码架构对 Spark的整体组件有一个初步了解，正是这些代码模块构成了Spark架构中的各个组件，同时读者可以通过代码模块的脉络阅读与剖析源码，这对于了解Spark的架构和实现细节都是很有帮助的。
下面对图1-3中的各模块进行简要介绍。
scheduler：文件夹中含有负责整体的Spark应用、任务调度的代码。
broadcast：含有Broadcast（广播变量）的实现代码，API中是Java和Python API的实现。
" >
- deploy：含有Spark部署与启动运行的代码。
- common：不是一个文件夹，而是代表Spark通用的类和逻辑实现，有5000行代码。
- metrics：是运行时状态监控逻辑代码，Executor中含有Worker节点负责计算的逻辑代码。
- partial：含有近似评估代码。
- network：含有集群通信模块代码。
- serializer：含有序列化模块的代码。
storage：含有存储模块的代码。 - ui：含有监控界面的代码逻辑。其他的代码模块分别是对Spark生态系统中其他组件的实现。
- streaming：是Spark Streaming的实现代码。
YARN：是Spark on YARN的部分实现代码。 - graphx：含有GraphX实现代码。
interpreter：代码交互式Shell的代码量为3300行。 - mllib：代表MLlib算法实现的代码量。
sql代表Spark SQL的代码量。
2．Spark的架构
Spark架构采用了分布式计算中的Master-Slave模型。Master是对应集群中的含有Master进程的节点，Slave是集群中含有Worker进程的节点。Master作为整个集群的控制器，负责整个集群的正常运行；Worker相当于是计算节点，接收主节点命令与进行状态汇报；Executor负责任务的执行；Client作为用户的客户端负责提交应用，Driver负责控制一个应用的执行，如图1-4所示。
Spark集群部署后，需要在主节点和从节点分别启动Master进程和Worker进程，对整个集群进行控制。在一个Spark应用的执行过程中，Driver和Worker是两个重要角色。Driver 程序是应用逻辑执行的起点，负责作业的调度，即Task任务的分发，而多个Worker用来管理计算节点和创建Executor并行处理任务。在执行阶段，Driver会将Task和Task所依赖的file和jar序列化后传递给对应的Worker机器，同时Executor对相应数据分区的任务进行处理。
下面详细介绍Spark的架构中的基本组件。
- ClusterManager：在Standalone模式中即为Master（主节点），控制整个集群，监控Worker。在YARN模式中为资源管理器。
- Worker：从节点，负责控制计算节点，启动Executor或Driver。在YARN模式中为NodeManager，负责计算节点的控制。
- Driver：运行Application的main()函数并创建SparkContext。
- Executor：执行器，在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors。
- SparkContext：整个应用的上下文，控制应用的生命周期。
- RDD：Spark的基本计算单元，一组RDD可形成执行的有向无环图RDD Graph。
- DAG Scheduler：根据作业（Job）构建基于Stage的DAG，并提交Stage给TaskScheduler。
- TaskScheduler：将任务（Task）分发给Executor执行。
- SparkEnv：线程级别的上下文，存储运行时的重要组件的引用。
- SparkEnv内创建并包含如下一些重要组件的引用。
- MapOutPutTracker：负责Shuffle元信息的存储。
- BroadcastManager：负责广播变量的控制与元信息的存储。
- BlockManager：负责存储管理、创建和查找块。
- MetricsSystem：监控运行时性能指标信息。
- SparkConf：负责存储配置信息。
Spark的整体流程为：Client 提交应用，Master找到一个Worker启动Driver，Driver向Master或者资源管理器申请资源，之后将应用转化为RDD Graph，再由DAGScheduler将RDD Graph转化为Stage的有向无环图提交给TaskScheduler，由TaskScheduler提交任务给Executor执行。在任务执行的过程中，其他组件协同工作，确保整个应用顺利执行。
3．Spark运行逻辑
如图1-5所示，在Spark应用中，整个执行流程在逻辑上会形成有向无环图（DAG）。Action算子触发之后，将所有累积的算子形成一个有向无环图，然后由调度器调度该图上的任务进行运算。Spark的调度方式与MapReduce有所不同。Spark根据RDD之间不同的依赖关系切分形成不同的阶段（Stage），一个阶段包含一系列函数执行流水线。图中的A、B、C、D、E、F分别代表不同的RDD，RDD内的方框代表分区。数据从HDFS输入Spark，形成RDD A和RDD C，RDD C上执行map操作，转换为RDD D， RDD B和 RDD E执行join操作，转换为F，而在B和E连接转化为F的过程中又会执行Shuffle，最后RDD F 通过函数saveAsSequenceFile输出并保存到HDFS中。
" >
