《Spark大数据处理:技术、应用与性能优化》——1.3 Spark架构-阿里云开发者社区

开发者社区> 华章出版社> 正文
登录阅读全文

《Spark大数据处理:技术、应用与性能优化》——1.3 Spark架构

简介:

本节书摘来自华章计算机《Spark大数据处理:技术、应用与性能优化》一书中的第1章,第1.3节,作者:高彦杰 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.3 Spark架构

从上文介绍可以看出,Spark是整个BDAS的核心。生态系统中的各个组件通过Spark来实现对分布式并行任务处理的程序支持。
1.Spark的代码结构
图1-3展示了Spark-1.0的代码结构和代码量(不包含Test和Sample代码),读者可以通过代码架构对 Spark的整体组件有一个初步了解,正是这些代码模块构成了Spark架构中的各个组件,同时读者可以通过代码模块的脉络阅读与剖析源码,这对于了解Spark的架构和实现细节都是很有帮助的。
下面对图1-3中的各模块进行简要介绍。
scheduler:文件夹中含有负责整体的Spark应用、任务调度的代码。
broadcast:含有Broadcast(广播变量)的实现代码,API中是Java和Python API的实现。


<a href=https://yqfile.alicdn.com/c35a2a9b4eaba833f0c5434b81d38830ce8601d1.png
" >
  • deploy:含有Spark部署与启动运行的代码。
  • common:不是一个文件夹,而是代表Spark通用的类和逻辑实现,有5000行代码。
  • metrics:是运行时状态监控逻辑代码,Executor中含有Worker节点负责计算的逻辑代码。
  • partial:含有近似评估代码。
  • network:含有集群通信模块代码。
  • serializer:含有序列化模块的代码。
    storage:含有存储模块的代码。
  • ui:含有监控界面的代码逻辑。其他的代码模块分别是对Spark生态系统中其他组件的实现。
  • streaming:是Spark Streaming的实现代码。
    YARN:是Spark on YARN的部分实现代码。
  • graphx:含有GraphX实现代码。
    interpreter:代码交互式Shell的代码量为3300行。
  • mllib:代表MLlib算法实现的代码量。
    sql代表Spark SQL的代码量。

2.Spark的架构
Spark架构采用了分布式计算中的Master-Slave模型。Master是对应集群中的含有Master进程的节点,Slave是集群中含有Worker进程的节点。Master作为整个集群的控制器,负责整个集群的正常运行;Worker相当于是计算节点,接收主节点命令与进行状态汇报;Executor负责任务的执行;Client作为用户的客户端负责提交应用,Driver负责控制一个应用的执行,如图1-4所示。


96834c7fc31133b5fc1b612029fca988f7759e65

Spark集群部署后,需要在主节点和从节点分别启动Master进程和Worker进程,对整个集群进行控制。在一个Spark应用的执行过程中,Driver和Worker是两个重要角色。Driver 程序是应用逻辑执行的起点,负责作业的调度,即Task任务的分发,而多个Worker用来管理计算节点和创建Executor并行处理任务。在执行阶段,Driver会将Task和Task所依赖的file和jar序列化后传递给对应的Worker机器,同时Executor对相应数据分区的任务进行处理。
下面详细介绍Spark的架构中的基本组件。

  • ClusterManager:在Standalone模式中即为Master(主节点),控制整个集群,监控Worker。在YARN模式中为资源管理器。
  • Worker:从节点,负责控制计算节点,启动Executor或Driver。在YARN模式中为NodeManager,负责计算节点的控制。
  • Driver:运行Application的main()函数并创建SparkContext。
  • Executor:执行器,在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors。
  • SparkContext:整个应用的上下文,控制应用的生命周期。
  • RDD:Spark的基本计算单元,一组RDD可形成执行的有向无环图RDD Graph。
  • DAG Scheduler:根据作业(Job)构建基于Stage的DAG,并提交Stage给TaskScheduler。
  • TaskScheduler:将任务(Task)分发给Executor执行。
  • SparkEnv:线程级别的上下文,存储运行时的重要组件的引用。
  • SparkEnv内创建并包含如下一些重要组件的引用。
  • MapOutPutTracker:负责Shuffle元信息的存储。
  • BroadcastManager:负责广播变量的控制与元信息的存储。
  • BlockManager:负责存储管理、创建和查找块。
  • MetricsSystem:监控运行时性能指标信息。
  • SparkConf:负责存储配置信息。

Spark的整体流程为:Client 提交应用,Master找到一个Worker启动Driver,Driver向Master或者资源管理器申请资源,之后将应用转化为RDD Graph,再由DAGScheduler将RDD Graph转化为Stage的有向无环图提交给TaskScheduler,由TaskScheduler提交任务给Executor执行。在任务执行的过程中,其他组件协同工作,确保整个应用顺利执行。
3.Spark运行逻辑
如图1-5所示,在Spark应用中,整个执行流程在逻辑上会形成有向无环图(DAG)。Action算子触发之后,将所有累积的算子形成一个有向无环图,然后由调度器调度该图上的任务进行运算。Spark的调度方式与MapReduce有所不同。Spark根据RDD之间不同的依赖关系切分形成不同的阶段(Stage),一个阶段包含一系列函数执行流水线。图中的A、B、C、D、E、F分别代表不同的RDD,RDD内的方框代表分区。数据从HDFS输入Spark,形成RDD A和RDD C,RDD C上执行map操作,转换为RDD D, RDD B和 RDD E执行join操作,转换为F,而在B和E连接转化为F的过程中又会执行Shuffle,最后RDD F 通过函数saveAsSequenceFile输出并保存到HDFS中。


<a href=https://yqfile.alicdn.com/6ad8398c666ce8066975b325095e32b0c3f713be.png
" >

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: