安装Spark

简介: 安装Spark

安装Spark

任务描述

本关任务:完成Spark安装

相关知识

Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。Spark 最大的特点就是快,可比 Hadoop MapReduce 的处理速度快 100 倍。本节将详细说明 Spark 的安装。

下载Spark

首先需要下载Spark安装文件。访问Spark官方下载地址,Downloads | Apache Spark 按照如图所示的下载。

可以提示点击进行下载。

解压Spark

本实验中Spark采用Local模式进行安装,也就是在单机上运行Spark,因此,在安装Hadoop时,需要按照伪分布式模式进行安装。在单台机器上按照“Hadoop(伪分布式)+Spark(Local模式)”这种方式进行Hadoop和Spark组合环境的搭建,可以较好满足入门级Spark学习的需求。打开终端,输入下述命令:

tar -zvxf /data/bigfiles/spark-3.3.1-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
mv ./spark-3.3.1-bin-without-hadoop/ ./spark
chown -R root:root ./spark # 此处的 hadoop 为你的用户名
配置Spark

安装后,还需要修改Spark的配置文件spark-env.sh:

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh

配置完成后就可以直接使用,不需要像Hadoop运行启动命令。通过运行Spark自带的示例,验证Spark是否安装成功。

cd /usr/local/spark
bin/run-example SparkPi > text
cat text

过滤后的运行结果如图所示,可以得到π的近似值:

编程要求

在右侧命令行中配置好Scala环境后点击评测即可。 提示:平台已经将解压包下载并放在/data/bigfile/目录下了,不需要再从网络下载。


开始你的任务吧,祝你成功!

目录
相关文章
|
6月前
|
分布式计算 Linux Spark
179 Spark集群安装
179 Spark集群安装
36 0
|
5天前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
80 0
|
5天前
|
分布式计算 Hadoop Scala
Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
【4月更文挑战第13天】Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
37 0
|
5天前
|
分布式计算 Spark
Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
【2月更文挑战第14天】Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
36 1
|
5天前
|
分布式计算 资源调度 Java
Hadoop学习笔记(HDP)-Part.17 安装Spark2
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
43 0
Hadoop学习笔记(HDP)-Part.17 安装Spark2
|
6月前
|
分布式计算 Java Apache
window环境下安装spark
window环境下安装spark
163 0
|
9月前
|
分布式计算 Hadoop Linux
基于Linux的Spark安装与环境配置
基于Linux的Spark安装与环境配置
475 0
|
11月前
|
JSON 分布式计算 大数据
【大数据学习篇5】 Spark安装实验
【大数据学习篇5】 Spark安装实验
116 0
|
分布式计算 运维 Hadoop
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
一、安装spark依赖的Scala 1.1 下载和解压缩Scala 下载地址: 点此下载 或则直接去官网挑选下载: 官网连接 在Linux服务器的opt目录下新建一个名为scala的文件夹,并将下载的压缩包上载上去: [root@hadoop opt]# cd /usr/ [root@hadoop usr]# mkdir scala [root@hadoop usr]# cd scala/ [ro...
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
|
分布式计算 UED Spark