深入理解Spark:核心思想与源码分析. 1.3 阅读环境准备

简介:

1.3 阅读环境准备

准备Spark阅读环境,同样需要一台好机器。笔者调试源码的机器的内存是8 GB。源码阅读的前提是在IDE环境中打包、编译通过。常用的IDE有IntelliJ IDEA、Eclipse。笔者选择用Eclipse编译Spark,原因有二:一是由于使用多年对它比较熟悉,二是社区中使用Eclipse编译Spark的资料太少,在这里可以做个补充。在Windows系统编译Spark源码,除了安装JDK外,还需要安装以下工具。

(1)安装Scala

由于Spark 1.20版本的sbt里指定的Scala版本是2.10.4,具体见Spark源码目录下的文件\project\plugins.sbt,其中有一行:scalaVersion := "2.10.4"。所以选择下载scala-2.10.4.msi,下载地址:http://www.scala-lang.org/download/。

下载完毕,安装scala-2.10.4.msi。

(2)安装SBT

由于Scala使用SBT作为构建工具,所以需要下载SBT。下载地址:http://www.scala-sbt.org/,下载最新的安装包sbt-0.13.8.msi并安装。

(3)安装Git Bash

由于Spark源码使用Git作为版本控制工具,所以需要下载Git的客户端工具,推荐使用Git Bash,因为它更符合Linux下的操作习惯。下载地址:http://msysgit.github.io/,下载最新的版本并安装。

(4)安装Eclipse Scala IDE插件

Eclipse通过强大的插件方式支持各种IDE工具的集成,要在Eclipse中编译、调试、运行Scala程序,就需要安装Eclipse Scala IDE插件。下载地址:http://scala-ide.org/download/current.html。

由于笔者本地的Eclipse版本是Eclipse 4.4 (Luna),所以选择安装插件http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site,如图1-14所示。

 

图1-14 Eclipse Scala IDE插件安装地址

在Eclipse中选择Help菜单,然后选择Install New Software…选项,打开Install对话框,如图1-15所示。

 

图1-15 Install对话框

单击Add按钮,打开Add Repository对话框,输入插件地址,如图1-16所示。

 

图1-16 添加Scala IDE插件地址

全选插件的内容,完成安装,如图1-17所示。

 

图1-17 安装Scala IDE插件

相关文章
|
8月前
|
分布式计算 资源调度 监控
【Spark】 Spark的基础环境 Day03
【Spark】 Spark的基础环境 Day03
66 0
【Spark】 Spark的基础环境 Day03
|
3月前
|
SQL 机器学习/深度学习 分布式计算
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
124 1
|
4月前
|
消息中间件 分布式计算 Java
Linux环境下 java程序提交spark任务到Yarn报错
Linux环境下 java程序提交spark任务到Yarn报错
56 5
|
8月前
|
分布式计算 Hadoop Java
Note_Spark_Day01:Spark 基础环境
Note_Spark_Day01:Spark 基础环境
98 0
|
分布式计算 Java Apache
window环境下安装spark
window环境下安装spark
717 0
|
资源调度 分布式计算 Hadoop
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
|
分布式计算 大数据 调度
Spark 原理_总体介绍_集群环境 | 学习笔记
快速学习 Spark 原理_总体介绍_集群环境
Spark 原理_总体介绍_集群环境 | 学习笔记