基于hadoop2.6伪分布的Spark安装和wordcount测试
一：环境说明
Ubuntu：15.10（不稳定版，建议安装在稳定版，Ubuntu下XX..4是稳定的）
Hadoop：2.6
Scala：2.11.8
Java：1.7.0
Spark：1.6.1
二：hadoop伪分布安装
参考之前我写的一篇博客：http://blog.csdn.net/gamer_gyt/article/details/46793731
三：Scala安装
scala下载地址：http://www.scala-lang.org/download/
解压到指定目录：tar zxvf scala-2.11.8.tgz -C /usr/local/
进入/usr/local/：cd /usr/local
重命名为scala：mv scala-2.11.8 scala
配置环境变量：sudo vim /etc/profile
加入如下信息：
<span style="font-size:14px;"> #scala home
export SCALA_HOME=/usr/local/scala
export Path=$SCALA_HOME/bin:$PATH
</span>
退出保存：source /etc/profile
命令行输入scala -versiom，显示如下
使用时只需要输入scala即可，退出时输入 :quit
四：Spark安装
1：官网下载最新版本1.6.1
下载链接：http://archive.apache.org/dist/spark/
2：解压到指定目录，我这里是/usr/local/hadoop
tar zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/hadoop
重命名为spark(个人习惯):sudo mv spark-1.6.1-bin-hadoop2.6 spark
3：配置环境变量
sudo vim /etc/profile
输入以下：
#spark home
export SPARK_HOME=/usr/local/hadoop/spark
export PATH=$SPARK_HOME/bin:$PATH
4：配置spark-env.sh
cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh 加入以下代码(注意 java，hadoop，scala，spark要根据自己的目录来)：
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/share/scala
export SPARK_HOME=/usr/local/hadoop/spark
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=10G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native
5：配置Slave
cp slaves.template slaves vim slaves
添加以下代码（默认就是localhost）：
localhost6：启动（前提是hadoop伪分布已经启动）
启动spark-master.sh
cd $SPARK_HOME/sbin
./start-master.sh
启动Spark Slave
./start-slaves.sh(注意是slaves)
此时便可以访问Spark的web界面了：输入http://127.0.0.1:8099/
进入spark-shell界面
进入spark目录下的bin目录，执行：./spark-shell
......
(是不是和scala的shell一样呀)
Spark-shell的web界面访问地址：http://127.0.0.1:4040
六：Spark的WordCount实例
1：上传Spark目录下的README.txt到hdfs上，例如我这里的存放为 /mr/spark/test （test是个文件，内容同README.txt一致）
2：用第五步的命令进入spark-shell
执行：val file=sc.textFile("hdfs://172.16.48.202:9000/mr/spark/README.txt")
val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)
count.collect()
每一步的执行结果为：
最终的运行结果为：
至此，我们已经了解了Spark的安装过程和在spark shell 中用scala运行wordcount，更多精彩请关注gamer_gyt
