任务描述
本关任务：编写一个简单的应用程序simpleApp2（实现spark自带文件README.md文件的单词统计）,并使用Maven进行编译打包，并通过spark-submit直接提交。
相关知识
Maven安装
Ubuntu中没有自带安装maven，需要手动安装maven。可以访问maven官网下载。此处选择安装在/usr/local/maven目录中：
tar -xzvf /data/bigfiles/aapache-maven-3.8.6-bin.tar.gz -C /usr/local/ #解压maven mv apache-maven-3.8.6/ ./maven #对maven文件重命名 chown -R root ./maven #更新权限，root是账号
在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录：
cd ~ #进入用户主文件夹 mkdir -p ./sparkapp2/src/main/java
在./sparkapp2/src/main/java下建立一个名为SimpleApp.java的文件（vim ./sparkapp2/src/main/java/SimpleApp.java），添加代码如下：
/*** SimpleApp.java ***/ import org.apache.spark.api.java.*; import org.apache.spark.api.java.function.Function; import org.apache.spark.SparkConf; public class SimpleApp { public static void main(String[] args) { String logFile = "file:///usr/local/spark/README.md"; // Should be some file on your system SparkConf conf=new SparkConf().setMaster("local").setAppName("SimpleApp"); JavaSparkContext sc=new JavaSparkContext(conf); JavaRDD<String> logData = sc.textFile(logFile).cache(); long numAs = logData.filter(new Function<String, Boolean>() { public Boolean call(String s) { return s.contains("a"); } }).count(); long numBs = logData.filter(new Function<String, Boolean>() { public Boolean call(String s) { return s.contains("b"); } }).count(); System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs); } }
该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2目录中新建文件pom.xml，命令如下：
cd ~/sparkapp2 vim pom.xml
在pom.xml文件中添加内容如下，声明该独立应用程序的信息以及Spark的依赖关系：
<project> <groupId>cn.edu.xmu</groupId> <artifactId>simple-project</artifactId> <modelVersion>4.0.0</modelVersion> <name>Simple Project</name> <packaging>jar</packaging> <version>1.0</version> <repositories> <repository> <id>jboss</id> <name>JBoss Repository</name> <url>http://repository.jboss.com/maven2/</url> </repository> </repositories> <dependencies> <dependency> <!-- Spark dependency --> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.0</version> </dependency> </dependencies> </project>
关于Spark dependency的依赖关系，可以访问The Central Repository。搜索spark-core可以找到相关依赖关系信息，如图6所示。
为了保证maven能够正常运行，先执行如下命令检查整个应用程序的文件结构:
cd ~/sparkapp2 find .
文件结构如图7所示：
接着，我们可以通过如下代码将这整个应用程序打包成Jar（注意：电脑需要保持连接网络的状态，而且首次运行同样下载依赖包，同样消耗几分钟的时间）:
cd ~/sparkapp2 /usr/local/maven/bin/mvn package
如出现图8所示，说明生成Jar包成功：
如果运行Maven编译打包过程很慢，是因为需要到国外网站下载很多的依赖包，国外网站速度很慢，因此，要花费很长时间。为了加快速度，可以更改为国内的仓库地址。 最后，可以通过将生成的jar包通过spark-submit提交到Spark中运行，如下命令：
/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar # 上面命令执行后会输出太多信息，可以不使用上面命令，而使用下面命令查看想要的结果 /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar > step4.txt #把结果输出到step4.txt中，这一步需要运行，测评通过 cat step4.txt
得到的结果如下:Lines with a: 71, Lines with b: 38
编程要求
根据提示，完成Maven安装并进行打包测试。
开始你的任务吧，祝你成功！
