SparkContext的构造函数中，最重要的入参是SparkConf
根据初始化入参生成SparkConf
再根据SparkConf来创建SparkEnv
TaskScheduler.start的目的，是启动相应的SchedulerBackend，并启动定时器进行检测。
总结
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5905650.html，如需转载请自行联系原作者
SparkContext的初始化过程分析（源码）
2017-11-13
843
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
分布式计算
资源调度
调度
Spark计算过程分析
### 基本概念
----------
Spark是一个分布式的内存计算框架，其特点是能处理大规模数据，计算速度快。Spark延续了Hadoop的MapReduce计算模型，相比之下Spark的计算过程保持在内存中，减少了硬盘读写，能够将多个操作进行合并后计算，因此提升了计算速度。同时Spark也提供了更丰富的计算API。
MapReduce是Hadoop和Spark的计算模型，其特点
6651
0
0
spark2.1.0之源码分析——RPC管道初始化
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/81197447
提示：阅读本文前最好先阅读：
《Spark2.
1561
0
0
|
分布式计算
Spark
Spark2.1命令工具类CommandUtils的源码分析
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/77450103
注：本文是为了配合《Spark内核设计的艺术 架构设计与实现》一书的内容而编写，目的是为了节省成本、方便读者查阅。
1361
0
0
|
分布式计算
大数据
Apache
|
存储
分布式计算
Spark
|
分布式计算
Spark
|
分布式计算
Spark
|
分布式计算
Spark
|
缓存
分布式计算
Spark
|
缓存
分布式计算
Spark