AI 助理
备案控制台
开发者社区 大数据 文章 正文

一张图读通Spark源码

2013-12-09 1093
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

前段时间断断续续通读了下Spark-0.8的源码，边读边画的一张大体的流程图 ，覆盖了最重要的几个模块及其关键类。希望对源码的细化阅读有所帮助。

(图片比较宽，CSDN显示不给力，可以在我的微盘下载)

更新：.vsd 文件链接



(全文完)

文章标签：
分布式计算
Spark
关键词：
apache spark源码
张包峰
目录
相关文章
热烈的马
|
6月前
|
SQL 分布式计算 大数据
【大数据技术Spark】DStream编程操作讲解实战（图文解释 附源码）
【大数据技术Spark】DStream编程操作讲解实战（图文解释 附源码）
热烈的马
132 0
热烈的马
|
6月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解（附源码 超详细）
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解（附源码 超详细）
热烈的马
149 0
热烈的马
|
6月前
|
分布式计算 Java 大数据
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战（超详细 附源码）
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战（超详细 附源码）
热烈的马
669 0
热烈的马
|
6月前
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
热烈的马
219 0
热烈的马
|
6月前
|
分布式计算 大数据 Scala
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战（超详细 附源码）
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战（超详细 附源码）
热烈的马
247 1
敏叔V587
|
6月前
|
分布式计算 Java Hadoop
Spark3.3.0源码编译补充篇-抓狂的证书问题
Spark3.3.0源码编译补充篇-抓狂的证书问题
敏叔V587
40 0
敏叔V587
|
6月前
|
分布式计算 Java 测试技术
肝Spark源码的若干骚操作
肝Spark源码的若干骚操作
敏叔V587
45 0
敏叔V587
|
6月前
|
分布式计算 Java 程序员
Spark3.0源码编译打包
Spark3.0源码编译打包
敏叔V587
33 0
孙玉洁-47170
|
6月前
|
分布式计算 监控 Java
Spark学习---day06、Spark内核（源码提交流程、任务执行）
Spark学习---day06、Spark内核（源码提交流程、任务执行）
孙玉洁-47170
95 2
热烈的马
|
6月前
|
存储 Java 关系型数据库
【Kafka+Flume+Mysql+Spark】实现新闻话题实时统计分析系统（附源码）
【Kafka+Flume+Mysql+Spark】实现新闻话题实时统计分析系统（附源码）
热烈的马
104 1
【Kafka+Flume+Mysql+Spark】实现新闻话题实时统计分析系统（附源码）

热门文章

最新文章

  • 1
    Spark-ML-01-小试spark分析离线商品信息
  • 2
    Spark做TPC-DS性能测试
  • 3
    [Spark][Python]Spark Python 索引页
  • 4
    Spark Job的提交与task本地化分析（源码阅读八）
  • 5
    spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
  • 6
    Spark-构建基于Spark的推荐引擎
  • 7
    Spark PruneDependency 依赖关系 RangePartitioner
  • 8
    Spark Master启动源码分析
  • 9
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 10
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 1
    bigdata-36-Spark转换算子与动作算子
    45
  • 2
    Paimon 与 Spark 的集成（二）：查询优化
    118202
  • 3
    阿里云 EMR Serverless Spark 版免费邀测中
    946
  • 4
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    345
  • 5
    安装Spark
    88
  • 6
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    104
  • 7
    Spark读取变更Hudi数据集Schema实现分析
    127
  • 8
    实战|使用Spark Streaming写入Hudi
    274
  • 9
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    140
  • 10
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    95

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月