使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码(博主强烈推荐)

简介:
+关注继续查看

前言

    其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对spark源码足够重视起来。

  本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程。

 

 

 

 

准备工作

 1、scala 2.10.4(本地的安装)

         Scala的安装(本地)

  2、Jdk1.7+  或 jdk1.8+ (本地的安装)

         Jdk 1.7*安装并配置

         Jdk 1.8*安装并配置

         JDK的windows和Linux版本之下载

  3、IntelliJ IDEA

IntelliJ IDEA(Community版本)的下载、安装和WordCount的初步使用(本地模式和集群模式)

IntelliJ IDEA(Ultimate版本)的下载、安装和WordCount的初步使用(本地模式和集群模式)

 

         Spark源码的编译过程详细解读(各版本)

          另外,最后还是建议大家开始先使用 pre-built 的 Spark,对 Spark 的运行、使用方法有所了解,编写了一些 Spark 应用程序后再展开源代码的阅读,并尝试修改源码,进行手动编译。 

 

 

 

 

总体流程

  1、从 Github 导入 Spark 工程

      打开IntelliJ IDEA 后,在菜单栏中选择 VCS→Check out from Version Control→Git,之后在 Git Repository URL 中填入 Spark 项目的地址,并指定好本地路径,如下图所示。

 

https://github.com/apache/spark.git   

 

 

 

 或者,我们可以直接先下载好,

比如我这里,已经下载好了

解压,

提前,先准备好

 

 

 

对于spark源码的目录结构

  1、编译相关    : sbt 、assembly、project

  2、spark核心  :core

  3、Spark Lib  : streaming 、 sql 、graphx 、mllib

  4、运行脚本和配置 : bin  、sbin 、conf

  5、虚拟化 : ec2 、docker 、dev

  6、式例  : examples 、data

  7、部署相关: yarn

  8、python支持 : python

  9、repl : repl

  10、 3pp : externals

 

 

 

 

 

 

 

 

 

现在,我开始,进入spark源码导入工作。

先来关闭,已有的工程。

 

File   ->   Close Project

 

得到,如下

 

选择,Import Project

 

 

 这里,为了日后的spark源码阅读环境的方便和开发

安装之后的几个常用设置:

  1、界面字体大小的设置

 

可见,界面字体的效果

 

 

 

  2、代码字体的设置

 

 

 

 

3、因我们平常,用习惯了eclipse,快捷键,设置为我们平常,eclipse的风格。

完成

 

 

 

简单,带领,如何巧看spark源码?

 这里,为了避免一个不利的阅读,

放到D盘的根目录下,

 设置行号

 

 

 

 

 

其他的源码,首先,Ctrl + Shift + R,然后,自行去阅读。

建议,在理解概念,真的,可以拿源码来帮助理解!

 

 

 

 

总结

 所以啊,源码 + 官网 ,是黄金组合。

 



本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5881893.html,如需转载请自行联系原作者

相关文章
|
2月前
|
Java Maven
IDEA项目编译时报:Warning:java: 源值1.5已过时
Idea中maven项目jdk编译version总是跳到1.5版本解决方案-Warning:java: 源值1.5已过时, 将在未来所有发行版中删除
229 2
IDEA项目编译时报:Warning:java: 源值1.5已过时
|
6月前
|
Java 编译器 Android开发
IDEA-设置-Java编译器对常量字符串过长的处理之适用于JDK17版本eclipse编译解决方案
IDEA-设置-Java编译器对常量字符串过长的处理之适用于JDK17版本eclipse编译解决方案
589 0
IDEA-设置-Java编译器对常量字符串过长的处理之适用于JDK17版本eclipse编译解决方案
|
8月前
|
Java 编译器
IDEA在编译项目常见问题
(一)IntelliJ Idea编译报错:请使用 -source 7 或更高版本以启用 diamond 运算符。 最近在使用IntelliJ Idea遇到了挫折,分享出来给大家,问题由来是我导入了外部
83 0
|
9月前
|
Android开发
IDEA编译gradle提示This version of the Android Support plugin for IntelliJ IDEA (or Android Studio) cannot open this project, please retry with version 2020.3.1 or newer.
IDEA编译gradle提示This version of the Android Support plugin for IntelliJ IDEA (or Android Studio) cannot open this project, please retry with version 2020.3.1 or newer.
416 1
|
9月前
|
Java 应用服务中间件 Android开发
IDEA 编译时 报 “常量字符串过长” 解决办法
IDEA 编译时 报 “常量字符串过长” 解决办法
820 0
|
10月前
|
Android开发
IDEA运行main方法,为什么要编译整个工程?
IDEA运行main方法,为什么要编译整个工程?
315 0
IDEA运行main方法,为什么要编译整个工程?
|
Java Maven Android开发
使用idea和gradle编译spring5源码的方法步骤
使用idea和gradle编译spring5源码的方法步骤
使用idea和gradle编译spring5源码的方法步骤
|
Java Windows Spring
Spring实现源码下载编译及导入IDEA过程图解
Spring实现源码下载编译及导入IDEA过程图解
Spring实现源码下载编译及导入IDEA过程图解
|
Java Maven
解决IDEA编译乱码 Build Output提示信息乱码�����
解决IDEA编译乱码 Build Output提示信息乱码�����
455 0
解决IDEA编译乱码 Build Output提示信息乱码�����
|
Java 应用服务中间件
寻找 IDEA 编译 JSP 生成的 class 文件
启动 Tomcat 时,日志信息中会显示路径,进入该目录下的 work 目录即可找到 JSP 编译后的 class 文件,如果日志信息乱码可查看启动 Tomcat 日志乱码问题。
寻找 IDEA 编译 JSP 生成的 class 文件
推荐文章
更多