Windows下单机安装Spark开发环境

简介: 转自:https://www.cnblogs.com/eczhou/p/5216918.html转自:http://blog.csdn.net/u011513853/article/details/52865076Windows下单机安装Spark开发环境机器:windows 10 64位。

转自:https://www.cnblogs.com/eczhou/p/5216918.html

转自:http://blog.csdn.net/u011513853/article/details/52865076


Windows下单机安装Spark开发环境

机器:windows 10 64位。

因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。

1、Java下Spark开发环境搭建

1.1、jdk安装

安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定。

同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\Program Files\Java\jre7\bin。

1.2 spark环境变量配置

去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本,我下载的是spark-1.6.0-bin-hadoop2.6.tgz,spark版本是1.6,对应的hadoop版本是2.6

解压下载的文件,假设解压 目录为:D:\spark-1.6.0-bin-hadoop2.6。将D:\spark-1.6.0-bin-hadoop2.6\bin添加到系统Path变量,同时新建SPARK_HOME变量,变量值为:D:\spark-1.6.0-bin-hadoop2.6

1.3 hadoop工具包安装

spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行,但是这里还是把hadoop相关库也配置好吧。

1.3.1 去下载hadoop 2.6编译好的包https://www.barik.net/archive/2015/01/19/172716/,我下载的是hadoop-2.6.0.tar.gz

1.3.2 解压下载的文件夹,将相关库添加到系统Path变量中:D:\hadoop-2.6.0\bin;同时新建HADOOP_HOME变量,变量值为:D:\hadoop-2.6.0

1.4 eclipse环境

直接新建java工程,将D:\spark-1.6.0-bin-hadoop2.6\lib下的spark-assembly-1.6.0-hadoop2.6.0.jar添加到工程中就可以了。

2、Python下Spark开发环境搭建

2.1 安装python,并添加到系统变量path中:C:\Python27和C:\Python27\Scripts

2.2 重复1.2和1.3步骤

2.3 将spark目录下的pyspark文件夹(D:\spark-1.6.0-bin-hadoop2.6\python\pyspark)复制到python安装目录C:\Python27\Lib\site-packages里

2.4 在cmd命令行下运行pyspark,然后运行pip install py4j安装相关库。

2.5 安装pycharm开始编程吧。

目录
相关文章
|
8天前
|
Windows
windows 安装mpv player
windows 安装mpv player
|
8天前
|
前端开发
windows10 安装node npm 等前端环境 并配置国内源
windows10 安装node npm 等前端环境 并配置国内源
|
9天前
|
应用服务中间件 nginx Windows
windows 安装nginx
windows 安装nginx
|
19天前
|
Windows
Windows 系统下安装
安装Julia on Windows: Download the installer from <https://julialang.org/downloads/>; 32-bit works on both 32/64-bit systems, while 64-bit requires 64-bit Windows. Run the installer, clicking Next, and check "Add Julia To PATH" to enable command line usage. Default install dir:
|
1天前
|
安全 Java 测试技术
Windows电脑安装Apache JMeter的详细教程
本文介绍了在Windows上安装Apache JMeter的步骤。首先,需确保安装Java JDK并配置环境变量。然后,从JMeter官网下载ZIP文件,解压至指定目录,并同样配置JMeter的环境变量。验证安装成功后,可通过命令行以GUI或非GUI模式启动JMeter,进行性能测试。
10 0
|
7天前
Qt安装 qt-unified-windows-x64-online.exe下载慢
Qt安装 qt-unified-windows-x64-online.exe下载慢
|
8天前
|
Ubuntu Linux Docker
windows 安装docker 安装Ubuntu linux
windows 安装docker 安装Ubuntu linux
windows10 安装pythone
windows10 安装pythone
|
8天前
|
PHP Windows
windows 安装php7.4并配置phpstorm环境
windows 安装php7.4并配置phpstorm环境
|
9天前
|
Apache Windows
windows 一键安装apache服务器 windows傻瓜式安装apache2 web服务器管理软件
windows 一键安装apache服务器 windows傻瓜式安装apache2 web服务器管理软件