Spark集群独立模式HA

简介:

一、Spark简介:


Spark是一种与Hadoop相似的开源集群计算环境

Spark基于MR算法实现的分布式计算,拥有Hadoop MR的优点,不同的是结果保存在内存中

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReduce快40倍左右

Spark是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架

Spark兼容Hadoop的API,能够读写Hadoop的HDFS HBASE 顺序文件等


传统的hadoop

wKioL1URY7nRlAbqAAFgqu76O_Y976.jpg



Spark

wKiom1URYpiR_49-AAGA5sVsokc685.jpg


环境概述:

192.168.1.2 master

192.168.1.3 worker

192.168.1.4 worker


二、Scala环境设置


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@master ~] # tar zxvf scala-2.10.4.tgz -C /home/hadoop/
[root@master ~] # cd /home/hadoop/
[root@master hadoop] # ln -s scala-2.10.4 scala
[root@master ~] # chown -R hadoop.hadoop /home/hadoop/
# Scala
export  SCALA_HOME= /home/hadoop/scala
export  PATH=$PATH:$HADOOP_DEV_HOME /sbin :$HADOOP_DEV_HOME /bin :$SCALA_HOME /bin
[root@master hadoop] # source /home/hadoop/.bashrc 
[root@master hadoop] # su - hadoop
[hadoop@master ~]$ scala
Welcome to Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_25 ).


     本文转自ljl_19880709 51CTO博客,原文链接:http://blog.51cto.com/luojianlong/1622837 ,如需转载请自行联系原作者



相关文章
|
8月前
|
分布式计算 Linux Spark
179 Spark集群安装
179 Spark集群安装
41 0
|
1月前
|
存储 分布式计算 监控
Spark Standalone模式是一种集群部署方式
【6月更文挑战第17天】Spark Standalone模式是一种集群部署方式
27 7
|
27天前
|
分布式计算 Shell Linux
Spark-集群安装、部署、启动、测试(1.6.3)稳定版
Spark-集群安装、部署、启动、测试(1.6.3)稳定版
30 0
|
2月前
|
分布式计算 资源调度 调度
利用SparkLauncher实现Spark Cluster模式下的远端交互
利用SparkLauncher实现Spark Cluster模式下的远端交互
28 0
|
2月前
|
机器学习/深度学习 分布式计算 并行计算
Spark 3.0 中的屏障执行模式_Spark的MPI时代来了
Spark 3.0 中的屏障执行模式_Spark的MPI时代来了
21 0
|
2月前
|
分布式计算 监控 Java
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
64 0
|
10月前
|
分布式计算 大数据 Spark
基于Docker搭建大数据集群(四)Spark部署
基于Docker搭建大数据集群(四)Spark部署
|
2月前
|
分布式计算 资源调度 监控
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(一)
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(一)
156 1
|
2月前
|
分布式计算 数据处理 Scala
Spark 集群和 Scala 编程语言的关系
Spark 集群和 Scala 编程语言的关系
|
10月前
|
分布式计算 资源调度 监控
Spark Yarn模式部署集群
Spark Yarn模式部署集群
60 1