spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用)(以spark2.2.0源码包为例)(图文详解)

简介:

前言

    其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对spark源码足够重视起来。

  本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程。

 

 

 

  好一段时间之前,写过这篇博客


  

  最近开始进行更新,希望能帮助到开发的你。

 

 

 

 

下载源码

  去github官网 下载

 

 

 

 

 

 

 

 

 

   spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse适用)(以spark2.2.0源码包为例)

  然后解压缩为目录,scalaIDE不支持tgz的文件关联,只支持jar,zip。

  那么就 使用文件目录关联就可以了,关联spark2.0的目录就可以了,很简单。

 

 

   比如,我这里放在D:\SoftWare

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  我这里为了区分,自己改名为spark-2.2.0-src

 

 

 

 

spark最新源码下载并导入到开发环境下助推高质量代码(IntelliJ IDEA适用)(以spark2.2.0源码包为例)

     前期博客,见


  

 

 

 

 

 

 

 

 

 方式1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 方式2

    如果是maven方式来导入源码的话

 

 

 

 

点击进去,为什么会报红错误,maven没改

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

       所以,个人建议,还是maven方式好啊

 

 

 

 

 

 

 

 

 方式3

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

    如果是Scala IDEA for Eclipse,则比如把spark-1.6.1

 

 

 

 

 

 

 

 

 

         

          经过解压,我这里特意改下名字,为spark-1.6.1-src

 

 

 

 

 

 

 

 

 

 

 

                注意:这不局限于spark,比如Hadoop、Hive、HBase....等其他大数据组件的源码一样的步骤,这里不多赘述。当然其他人肯定也有其他的步骤来阅读。

          比如,说在IDEA里可以直接点击进去,maven会自动下载等,这个我不多评论。



本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/7457352.html,如需转载请自行联系原作者

相关文章
|
Java Maven
2022最新版超详细的Maven下载配置教程、IDEA中集成maven(包含图解过程)、以及导入项目时jar包下载不成功的问题解决
这篇文章是一份关于Maven的安装和配置指南,包括下载、环境变量设置、配置文件修改、IDEA集成Maven以及解决jar包下载问题的方法。
2022最新版超详细的Maven下载配置教程、IDEA中集成maven(包含图解过程)、以及导入项目时jar包下载不成功的问题解决
|
存储 缓存 Java
java基础:IO流 理论与代码示例(详解、idea设置统一utf-8编码问题)
这篇文章详细介绍了Java中的IO流,包括字符与字节的概念、编码格式、File类的使用、IO流的分类和原理,以及通过代码示例展示了各种流的应用,如节点流、处理流、缓存流、转换流、对象流和随机访问文件流。同时,还探讨了IDEA中设置项目编码格式的方法,以及如何处理序列化和反序列化问题。
530 1
java基础:IO流 理论与代码示例(详解、idea设置统一utf-8编码问题)
|
搜索推荐 Java 数据库连接
Java|在 IDEA 里自动生成 MyBatis 模板代码
基于 MyBatis 开发的项目,新增数据库表以后,总是需要编写对应的 Entity、Mapper 和 Service 等等 Class 的代码,这些都是重复的工作,我们可以想一些办法来自动生成这些代码。
581 6
|
Java 数据库连接 Spring
如何在IDEA中自定义模板、快速生成完整的代码?
这篇文章介绍了如何在IntelliJ IDEA中使用easycode插件自定义代码生成模板,以快速生成Spring Boot、MyBatis等项目中常见的Controller、Service、Dao、Mapper等组件的代码。
如何在IDEA中自定义模板、快速生成完整的代码?
|
Java Linux 开发工具
IDEA中git提交前如何关闭code analysis以及开启格式化代码
【10月更文挑战第12天】本文介绍了在 IntelliJ IDEA 中关闭代码分析和开启代码格式化的步骤。关闭代码分析可通过取消默认启用检查或针对特定规则进行调整实现,同时可通过设置 VCS 静默模式在提交时跳过检查。开启代码格式化则需在 `Settings` 中配置 `Code Style` 规则,并通过创建 Git 钩子实现提交前自动格式化。
6633 3
|
Java 应用服务中间件 Maven
【终极解决方案】IDEA maven 项目修改代码不生效。
【终极解决方案】IDEA maven 项目修改代码不生效。
2558 1
|
Linux Windows
IDEA如何查看每一行代码的提交记录(人员,时间)
【9月更文挑战第24天】在IntelliJ IDEA中,可通过安装GitToolBox插件并利用其功能来便捷地查看每行代码的提交记录,包括提交者、时间和提交信息。具体操作为:首先安装GitToolBox插件,然后在代码编辑区域将鼠标悬停于目标代码行以查看简要信息,或使用快捷键打开“Version Control”窗口查看详细提交历史。
8384 2
|
XML 数据格式
IDEA 行注释设置,使其不从顶格开始,让其处于代码前开始
这篇文章提供了IntelliJ IDEA中如何设置行注释不从顶格开始,而是紧接在代码前面的方法,通过访问Settings中的Code Style选项进行调整,以改善代码注释的视觉效果。
|
开发工具 git
成功解决 IDEA 2020 版本 代码报错不提示的几种方案
这篇文章提供了几种解决IntelliJ IDEA 2020版本中代码报错不提示问题的方案,包括通过修改文件夹权限、暂存本地更改后进行git pull,以及在git pull后应用暂存的更改并提交代码到远程仓库的方法。
|
Java Maven 数据库
IDEA中如何导入jar包、IDEA中找不到对应类改怎样解决?(详细图解过程)
这篇文章提供了在IntelliJ IDEA中导入jar包的详细图解过程,包括当IDEA找不到对应类时的解决方法。内容涵盖了未加入jar包时程序报错的情况、加入jar包后成功启动的效果,以及如何解决驱动问题,确保使用正确版本的数据库驱动。
IDEA中如何导入jar包、IDEA中找不到对应类改怎样解决?(详细图解过程)

推荐镜像

更多