Spark环境搭建与使用

简介: Spark环境搭建与使用

任务描述

本关任务:编写一个简单的应用程序simpleApp2(实现spark自带文件README.md文件的单词统计),并使用Maven进行编译打包,并通过spark-submit直接提交。

相关知识

Maven安装

Ubuntu中没有自带安装maven,需要手动安装maven。可以访问maven官网下载。此处选择安装在/usr/local/maven目录中:

tar -xzvf /data/bigfiles/aapache-maven-3.8.6-bin.tar.gz -C /usr/local/ #解压maven
mv apache-maven-3.8.6/ ./maven #对maven文件重命名
chown -R root ./maven #更新权限,root是账号

在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录:

cd ~ #进入用户主文件夹
mkdir -p ./sparkapp2/src/main/java

./sparkapp2/src/main/java下建立一个名为SimpleApp.java的文件(vim ./sparkapp2/src/main/java/SimpleApp.java),添加代码如下:

/*** SimpleApp.java ***/
import org.apache.spark.api.java.*;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.SparkConf;
 
public class SimpleApp {
public static void main(String[] args) {
String logFile = "file:///usr/local/spark/README.md"; // Should be some file on your system
SparkConf conf=new SparkConf().setMaster("local").setAppName("SimpleApp");
JavaSparkContext sc=new JavaSparkContext(conf);
JavaRDD<String> logData = sc.textFile(logFile).cache();
long numAs = logData.filter(new Function<String, Boolean>() {
public Boolean call(String s) { return s.contains("a"); }
}).count();
long numBs = logData.filter(new Function<String, Boolean>() {
public Boolean call(String s) { return s.contains("b"); }
}).count();
System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);
}
}

该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2目录中新建文件pom.xml,命令如下:

cd ~/sparkapp2
vim pom.xml

在pom.xml文件中添加内容如下,声明该独立应用程序的信息以及Spark的依赖关系:

<project>
    <groupId>cn.edu.xmu</groupId>
    <artifactId>simple-project</artifactId>
    <modelVersion>4.0.0</modelVersion>
    <name>Simple Project</name>
    <packaging>jar</packaging>
    <version>1.0</version>
    <repositories>
        <repository>
            <id>jboss</id>
            <name>JBoss Repository</name>
            <url>http://repository.jboss.com/maven2/</url>
        </repository>
    </repositories>
    <dependencies>
        <dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.4.0</version>
        </dependency>
    </dependencies>
</project> 

关于Spark dependency的依赖关系,可以访问The Central Repository。搜索spark-core可以找到相关依赖关系信息,如图6所示。

为了保证maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:

cd ~/sparkapp2
find .

文件结构如图7所示:

接着,我们可以通过如下代码将这整个应用程序打包成Jar(注意:电脑需要保持连接网络的状态,而且首次运行同样下载依赖包,同样消耗几分钟的时间):

cd ~/sparkapp2
/usr/local/maven/bin/mvn package

如出现图8所示,说明生成Jar包成功:

 

如果运行Maven编译打包过程很慢,是因为需要到国外网站下载很多的依赖包,国外网站速度很慢,因此,要花费很长时间。为了加快速度,可以更改为国内的仓库地址。 最后,可以通过将生成的jar包通过spark-submit提交到Spark中运行,如下命令:

/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar # 上面命令执行后会输出太多信息,可以不使用上面命令,而使用下面命令查看想要的结果
/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar > step4.txt #把结果输出到step4.txt中,这一步需要运行,测评通过
cat step4.txt
  1. 得到的结果如下:
  2. Lines with a: 71, Lines with b: 38

编程要求

根据提示,完成Maven安装并进行打包测试。


开始你的任务吧,祝你成功!

目录
相关文章
|
5天前
|
分布式计算 Hadoop Scala
Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
【4月更文挑战第13天】Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
37 0
|
5天前
|
分布式计算 Hadoop Spark
Spark环境搭建和使用方法
Spark环境搭建和使用方法
48 1
|
7月前
|
分布式计算 监控 Oracle
Spark Standalone环境搭建及测试
Spark Standalone环境搭建及测试
82 0
|
7月前
|
分布式计算 Java Scala
Spark Local环境搭建及测试
Spark Local环境搭建及测试
71 0
|
分布式计算 大数据 Shell
Spark 环境搭建_配置 HistoryServer|学习笔记
快速学习 Spark 环境搭建_配置 HistoryServer
356 0
Spark 环境搭建_配置 HistoryServer|学习笔记
|
12月前
|
存储 分布式计算 资源调度
Spark集群环境搭建(standalone模式)
Spark集群环境搭建(standalone模式)
|
12月前
|
存储 分布式计算 资源调度
Spark本地环境搭建(local模式)
Spark本地环境搭建(local模式)
|
SQL 分布式计算 NoSQL
Spark 操作 kudu --环境搭建 &amp ;创建表操作 | 学习笔记
快速学习 Spark 操作 kudu --环境搭建 &amp ;创建表操作
401 0
Spark 操作 kudu --环境搭建 &amp ;创建表操作 | 学习笔记
|
分布式计算 Java 大数据
Spark 环境搭建_下载和解压 Spark 安装包|学习笔记
快速学习 Spark 环境搭建_下载和解压 Spark 安装包
626 0
Spark 环境搭建_下载和解压 Spark 安装包|学习笔记
|
分布式计算 Java 大数据
spark环境搭建(idea版本)
spark环境搭建(idea版本)
192 0
spark环境搭建(idea版本)

相关实验场景

更多