如何搭建MaxCompute Spark开发环境。
前提条件
搭建Spark开发环境前,请确保您已经在操作系统中安装如下软件:
JDK 1.8
以Linux操作系统为例,安装命令示例如下。JDK名称请以实际为准。具体的JDK名称可通过执行yum -y list java*获取。
yum install -y java-1.8.0-openjdk-devel.x86_64
Python 2.7
以Linux操作系统为例,安装命令示例如下。Python包名称请以实际为准。
获取Python包。
wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz
解压缩Python包。
tar -zxvf Python-2.7.10.tgz
切换到解压后的目录,指定安装路径。
cd Python-2.7.10
./configure --prefix=/usr/local/python2
编译并安装Python。
make
make install