开发者社区> agilelab> 正文

centos+scala2.11.4+hadoop2.3+spark1.3.1环境搭建

简介: 一、Java安装 1、安装包准备: 首先到官网下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.
+关注继续查看

一、Java安装

1、安装包准备:

首先到官网下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html,我下载jdk-7u79-linux-x64.tar.gz,下载到主目录

2、解压安装包

通过终端在/usr/local目录下新建java文件夹,命令行:

sudo mkdir /usr/local/java

然后将下载到压缩包拷贝到java文件夹中,命令行:

进入jdk压缩包所在目录

cp jdk-7u79-linux-x64.tar.gz /usr/local/java

然后进入java目录,命令行:

cd /usr/local/java

解压压缩包,命令行:

sudo tar xvf jdk-7u79-linux-x64.tar.gz

然后可以把压缩包删除,命令行:

sudo rm jdk-7u79-linux-x64.tar.gz

3、设置jdk环境变量

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH

使profile生效

source /etc/profile

4、检验是否安装成功

在终端

java -version

显示如下

java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

PS:后来发现直接rpm包jdk-7u79-linux-x64.rpm桌面双击安装也OK,^_^

二、scala2.11.4安装

1、安装包准备:

首先到官网下载scala,http://www.scala-lang.org/,下载scala-2.11.4.tgz,并复制到/usr/bib

2、解压安装包

tar -zxf scala-2.11.4.tgz

3、设置scala环境变量

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export SCALA_HOME=/usr/lib/scala-2.11.4
export PATH=$SCALA_HOME/bin:$PATH

使profile生效

source /etc/profile

4、检验是否安装成功

在终端

scala -version

显示如下

Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL

三、hadoop2.3安装

1、安装包准备:

hadoop版本有点混乱,除了http://hadoop.apache.org/有众多版本之外,还有Cloudera公司的CDH版本,请从观望下载hadoop-2.3.0.tar.gz或者下载CDH版本hadoop-2.3.0-cdh5.0.0.tar.gz,本文环境是在hadoop-2.3.0-cdh5.0.0.tar.gz之上建立。

2、解压安装包

下载安装包之后复制到/usr目录。

tar -zxf hadoop-2.3.0-cdh5.0.0.tar.gz
解压后生成hadoop-2.3.0-cdh5.0.0,重命名为hadoop-2.3.0。

3、配置环境

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export HADOOP_HOME=/home/zero/hadoop/hadoop-2.3.0
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使profile生效

source /etc/profile

3、建立hadoop用户

useradd hadoop

passwd hadoop

3、配置SSH免登录

su  hadoop  //切换到hadoop用户目录下

ssh-keygen-t rsa(一路回车 生成密钥)

cd/home/hadoop/.ssh/

scp  id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/

mv id_rsa.pub authorized_keys

四、spark1.3.1安装

1、安装包准备:

spark官网下载spark-1.3.1-bin-hadoop2.3.tgz。

2、解压安装包

下载安装包之后复制到/usr目录。

tar -zxf spark-1.3.1-bin-hadoop2.3.tgz
解压后生成spark-1.3.1-bin-hadoop2.3,重命名为spark-1.3.1-hadoop2.3。

3、配置环境

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export PATH=$SPARK_HOME/bin:$PATH


使profile生效

source /etc/profile

4、配置环境

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export PATH=$SPARK_HOME/bin:$PATH


使profile生效

source /etc/profile

配置Spark环境变量

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

vi spark-env.sh 添加以下内容:

export JAVA_HOME=/usr/local/java-1.7.0_79
export HADOOP_HOME=/usr/hadoop-2.3.0
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SCALA_HOME=/usr/lib/scala-2.11.4
export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
 
export SPARK_WORKER_CORES=3 //每个Worker使用的CPU核数
export SPARK_WORKER_INSTANCES=1 //每个Slave中启动几个Worker实例
export SPARK_WORKER_MEMORY=10G //每个Worker使用多大的内存
export SPARK_WORKER_WEBUI_PORT=8081 //Worker的WebUI端口号
export SPARK_EXECUTOR_CORES=1 //每个Executor使用使用的核数
export SPARK_EXECUTOR_MEMORY=1G //每个Executor使用的内存
 

export SPARK_CLASSPATH=/usr/spark-1.3.1-hadoop2.3/lib/sequoiadb-driver-1.12.jar:/usr/spark-1.3.1-hadoop2.3/lib/spark-sequoiadb_2.11.2-1.12.jar  //使用巨衫数据库
export SPARK_CLASSPATH=$SPARK_CLASSPATH:$CLASSPATH
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/nativ

配置Slave

cp slaves.template slaves
vi slaves 添加以下内容:
localhost

 

5、启动Spark  Master

cd $SPARK_HOME/sbin/
./start-master.sh

 

6、启动Spark  Slave

cd $SPARK_HOME/sbin/
./start-slaves.sh

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
用阿里云对象存储OSS搭建个人网盘或企业网盘的方法
阿里云对象存储OSS是低成本高可靠的存储服务,使用阿里云OSS对象存储搭建个人网盘或企业网盘的方法
46 0
Nexus3 OSS环境搭建以及在日常工作中的用途
本文介绍的Nexus不是谷歌的一个手机品牌哈,而是一个非常强大的仓库管理平台。支持常见的Docker、Maven、npm、PyPI等仓库的管理。
45 0
基于Spark的机器学习实践 (三) - 实战环境搭建
0 相关源码 1 Spark环境安装 ◆ Spark 由scala语言编写,提供多种语言接口,需要JVM ◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译 ◆ Spark安装不难,配置需要注意,并且不一定需要Hadoop环境 下载 解压 tar zxvf spark-2.
1091 0
OSS-Android SDK 搭建总结
背景 很多小伙伴对 Android 的 SDK 搭建熟悉,但是对于上云的 OSS Android SDK 使用有些一门疑问,今天从环境搭建到客户端使用全面给大家梳理一遍个人的使用总结; 分解 下载jdk和Android studio 安装jdk 配置环境变量 安装Android Studio 配.
9187 0
Spark的这些事<一>——Windows下spark开发环境搭建
一、首先准备需要安装的软件 scala-2.10.4 下载地址:http://www.scala-lang.org/download/2.10.4.html scala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_64 下载地址:http://scala-ide.org/ spark-1.6.2-bin-hadoop2.6 下载地址
1642 0
阿里云服务器CentOS 7搭建SS方法
本篇文章教你如何自建服务器搭建ShadowSocks 开启魔法上网,相信点开这篇文章的小伙伴都懂,这里就不多介绍了 服务器的购买 这里推荐阿里云比较不错,可直接移至阿里云官网购买。 测试 服务器购买完成后首先得测试一下是否可用Windows 先 win + R 输入 cmd,弹出一个黑窗口后在里面.
7471 0
最快1天搭建短视频APP!阿里云短视频解决方案上线
短视频行业的发展前景乐观是毋庸置疑的,整个短视频的市场规模一直在增长,网络数据显示2018年已经突破100亿大关,在2019年预测将超过200亿。那么,对于短视频从业者来讲,要持续推动业务的发展,必须找到适合于自身业务的短视频创业模式。
3880 0
OSS -IOS SDK 搭建
背景 很多小伙伴对 IOS 的 SDK 搭建熟悉,但是对于上云的 OSS IOS SDK 使用有些一门疑问,今天从环境搭建到客户端使用全面给大家梳理一遍个人的使用总结; 通过 git 拉取项目 地址,拉下的目录结构如下; workspace 就是我们的编译后直接可运行文件,如果本机已经安装好了 x...
1170 0
+关注
agilelab
魏琼东,系统分析师、系统架构师、高级项目经理。有17年开发和管理经验,擅长企业软件过程改进、系统分析与架构设计、.NET平台架构技术、SQL Server/ORACLE数据库技术、分布式架构体系及高性能并行计算,尤其对中小软件企业的企业级软件研发管理体系有着深入的研究与应用。
116
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载