一、Spark简介：
Spark是一种与Hadoop相似的开源集群计算环境
Spark基于MR算法实现的分布式计算，拥有Hadoop MR的优点，不同的是结果保存在内存中
Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReduce快40倍左右
Spark是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架
Spark兼容Hadoop的API，能够读写Hadoop的HDFS HBASE 顺序文件等
传统的hadoop
Spark
环境概述：
192.168.1.2 master
192.168.1.3 worker
192.168.1.4 worker
二、Scala环境设置
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
[root@master ~]
# tar zxvf scala-2.10.4.tgz -C /home/hadoop/
[root@master ~]
# cd /home/hadoop/
[root@master hadoop]
# ln -s scala-2.10.4 scala
[root@master ~]
# chown -R hadoop.hadoop /home/hadoop/
# Scala
export
SCALA_HOME=
/home/hadoop/scala
export
PATH=$PATH:$HADOOP_DEV_HOME
/sbin
:$HADOOP_DEV_HOME
/bin
:$SCALA_HOME
/bin
[root@master hadoop]
# source /home/hadoop/.bashrc
[root@master hadoop]
# su - hadoop
[hadoop@master ~]$ scala
Welcome to Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_25 ).
|
本文转自ljl_19880709 51CTO博客，原文链接：http://blog.51cto.com/luojianlong/1622837
，如需转载请自行联系原作者
