- Application 指用户编写的Spark应用程序，其中包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。
- Driver Spark中的Driver即运行上述Application的main()函数并创建SparkContext.创建的目的是为了初始化Spark的运行环境。SparkContext负责与ClusterManager通信，进行资源的申请、任务的分配和监控等。当Executor部分运行完毕后，Driver同时负责将SparkContext关闭，通常用SparkContext代表Driver.
- Executor 某个Application运行在Worker节点上的一个进程，该进程负责运行某些Task,并且负责将数据存在内存或者磁盘上。每个Application都有各自独立的一批Executor.在spark on Yarnm模式下，名为CoarseGrainedExecutor Backend进程有且只有一个executor,它负责将task包装秤taskRunner，并从线程池中抽取出一个空闲线程进行Task.这样 每个CoarseGrainedExecutro Backend能并行运行Task的数量就取决于分配给它的CPU的个数。
- Cluster Manager 在Hadoop yarn上主要是指ResourceManager
- Worker:集群中任何可以运行Application代码的节点，类似于Yarn中的NodeManager节点，在Standalone模式中指的是通过slave文件配置的Worker节点，在Spark on Yarn模式中指的是NodeManager节点。
- Task 是运行application的基本单位。多个Task组成一个stage,而Task的调度和管理等由下面的TaskScheduler负责。
- Job 包含多个Task组成的并行运算，往往由Spark Action触发产生，一个Application中可能会产生多个job.
- Stage 每个job会被划分为很多组Task，作为一个Taskset,名为stage.stage的划分和调度由DAGScheduler负责。Stage有非最终的stage(Shuffle Map stage)和最终的Stage(Result stage)两种。Stage的边界就是发生Shuffle的地方.
- 共享变量 广播变量和只支持加法操作，可以实现求和的累加变量。
- 宽依赖 成为ShuffleDependency,与Hadoop Mapreduce中Shuffle的数据依赖相同，宽依赖需要计算好所有父RDD对应分区的数据，然后在节点之间进行Shuffle。
- 窄依赖 称为NarrowDependency，指具体的RDD，其分区patition a 最多被子RDD中的一个分区patition b依赖。只有map任务，不需要发生Shuffle过程。
- DAGScheduler 提交Stage给TaskScheduler.
Spark运行流程概述
2015-10-10
889
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
Application 指用户编写的Spark应用程序，其中包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。
Driver Spark中的Driver即运行上述Application的main()函数并创建SparkContext.创建的目的是为了初始化Spark的运行环境。
目录
相关文章
|
7月前
|
分布式计算
并行计算
大数据
Spark学习---day02、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）
Spark学习---day02、Spark核心编程 RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（一）
393
1
1
|
7月前
|
SQL
分布式计算
API
|
2月前
|
分布式计算
资源调度
Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
83
2
2
|
2月前
|
分布式计算
大数据
Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
43
1
1
|
2月前
|
存储
分布式计算
算法
|
2月前
|
消息中间件
分布式计算
Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
50
0
0
|
2月前
|
SQL
存储
分布式计算
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
51
0
0
|
7月前
|
分布式计算
Java
Scala
Spark学习---day03、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）
Spark学习---day03、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）
98
1
1
|
5月前
|
SQL
弹性计算
资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS（Elastic Compute Service）是各大云服务商阿里云提供的一种基础云计算服务，它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
79
7
7
|
6月前
|
分布式计算
DataWorks
网络安全
DataWorks操作报错合集之还未运行，spark节点一直报错，如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
58
0
0
热门文章
最新文章
1
Spark本地环境搭建（local模式）
2
Spark Master启动源码分析
3
Spark-spark streaming
4
Spark PruneDependency 依赖关系 RangePartitioner
5
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
6
Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
7
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
8
利用闪存优化在Cosco基础上的Spark Shuffle
9
Spark Shell入门教程（上）
10
Spark Stage切分 源码剖析——DAGScheduler
1
spark用于分析数据并将数据保存到数据库中是
78
2
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
100
3
如何解决Spark在深度学习中的资源消耗问题？
96
4
Spark在深度学习中的优缺点是什么？
271
5
使用Spark进行机器学习
91
6
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
150
7
【Spark】Spark基础教程知识点
96
8
DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
189
9
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
155
10
MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
89