Spark(单机版)安装

简介: Spark(单机版)安装

环境


hadoop-2.7.2


hadoop-2.7.2.tar.gz_免费高速下载|百度网盘-分享无限制


spark-2.1.1-bin-hadoop2.7


链接:https://pan.baidu.com/s/13gHKbWYPRVoq7OjVaURPRQ

提取码:p3z3

复制这段内容后打开百度网盘手机App,操作更方便哦


hadoop安装(单机版)


注意:


注意代码执行的时候是在哪个路径下

注意贴代码的时候有没有需要修改的地方

注意端开放端口

注意搭建环境之前快照一下

确保hadoop安装环境OK


Spark(单机版)安装


1)解压 spark-2.1.1-bin-hadoop2.7tar.gz

2)将spark-env.sh.template 复制并并且重命名为 spark-env.sh


cp spark-env.sh.template spark-env.sh


3)修改spark-env.sh


1.png


其中SPARK_MASTER_HOST的值为


2.png


4)启动Spark


./sbin/start-all.sh


            ------关闭Spark


./sbin/stop-all.sh


5)在浏览器输入http://ip:8080/


3.png


配置 Job History Server


1)将 spark-2.1.1-bin-hadoop2.7/conf下spark-defaults.conf.template 复制并且重命名为spark-defaults.conf


cp spark-defaults.conf.template spark-defaults.conf


2)修改spark-defaults.conf


修改前


4.png


修改后


5.png


3)修改spark-env.sh


添加下面配置


export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://iZm5ea99qngm2v98asii1aZ:9000/directory"


4)启动HDFS


http://47.105.132.96:50070/explorer.html#/


6.png


5)创建 directory


hadoop fs -mkdir /directory


6)启动Spark


./sbin/start-all.sh


http://47.105.132.96:8080/


7.png


7)启动 Job History Server


./sbin/start-history-server.sh


http://47.105.132.96:4000/


8.png


修改日志文件


目的:使日志文件精简输出


cp log4j.properties.template log4j.properties


修改log4j.properties 配置文件


9.png


牛刀小试


 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://iZm5ea99qngm2v98asii1aZ:7077 /opt/module/spark-2.1.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.1.jar  100


10.png

目录
相关文章
|
1月前
|
分布式计算 Hadoop 大数据
安装Spark
安装Spark
45 0
|
7月前
|
分布式计算 Linux Spark
179 Spark集群安装
179 Spark集群安装
38 0
|
1月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
130 0
|
1月前
|
分布式计算 Hadoop Scala
Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
【4月更文挑战第13天】Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
62 0
|
1月前
|
分布式计算 Spark
Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
【2月更文挑战第14天】Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
45 1
|
1月前
|
分布式计算 资源调度 Java
Hadoop学习笔记(HDP)-Part.17 安装Spark2
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
49 0
Hadoop学习笔记(HDP)-Part.17 安装Spark2
|
7月前
|
分布式计算 Java Apache
window环境下安装spark
window环境下安装spark
241 0
|
10月前
|
分布式计算 Hadoop Linux
基于Linux的Spark安装与环境配置
基于Linux的Spark安装与环境配置
539 0
|
JSON 分布式计算 大数据
【大数据学习篇5】 Spark安装实验
【大数据学习篇5】 Spark安装实验
121 0
|
分布式计算 运维 Hadoop
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
一、安装spark依赖的Scala 1.1 下载和解压缩Scala 下载地址: 点此下载 或则直接去官网挑选下载: 官网连接 在Linux服务器的opt目录下新建一个名为scala的文件夹,并将下载的压缩包上载上去: [root@hadoop opt]# cd /usr/ [root@hadoop usr]# mkdir scala [root@hadoop usr]# cd scala/ [ro...
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装