🚀 作者 ：“大数据小禅”
🚀 **文章简介 **：本篇文章属于Spark系列文章，专栏将会记录从spark基础到进阶的内容，，内容涉及到Spark的入门集群搭建，核心组件，RDD，算子的使用，底层原理，SparkCore，SparkSQL，SparkStreaming等，Spark专栏地址.欢迎小伙伴们订阅💪
🚀 **文章源码获取 **：与本文相关的安装包，大数据交流群，小伙伴们可以关注文章底部的公众号，点击“联系我”备注对应内容获取。
🚀 欢迎小伙伴们 点赞👍、收藏⭐、留言💬
Spark入门导航
1.Spark是什么？
2.Spark的历史
3.Spark入门之集群搭建
4.集群访问测试
5.集群验证
5.编写你的第一个Spark应用
6.环境搭建
7.代码编写
8.总结
1.Spark是什么？
Apache Spark是专门为大规模数据处理而设计出来的计算引擎，相对于Hadoop MapReduce将结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入磁盘时在内存中进行运算。Spark只是一个计算框架，不像Hadoop一样包含了分布式文件系统和完备的调度系统，如果需要使用Spark，需要搭载其他文件系统例如用HDFS和更成熟的调度系统进行配合更好的进行计算工作。
2.Spark的历史
2009年由加州大学伯克利分校AMPLab开创
2010年通过BSD许可协议开源发布
2013年捐赠给Apache软件基金会并切换开源协议到Apache2.0
2014年2月，Spark成为Apache的顶级项目
2014年11月，Spark的母公司Databricks团队使用Spark刷新数据排序世界记录
3.Spark入门之集群搭建
在进行Spark搭建之前，应该尽可能先搭建好Hadoop集群，在生产环境中，HDFS的使用也是极其广泛，与Spark进行配合可以达到更高的工作效率，Hadoop的搭建过程可以看我之前写的文章，Hadoop集群搭建，过程比较详细，步骤附带了较多截图帮助小伙伴们进行搭建。
下面进入到Spark集群的搭建部分，首先我们需要将安装包上传到我们的集群，集群共三台机器分别是node1，node2，node3，使用hadoop用户进行操作，用户添加的方法，IP映射与免密在Hadoop集群搭建的部分有详细写到。将安装包上传之后使用tar命令进行解压，使用mv命令进行重命名方便后续的操作。如下图
5.集群验证
做完上面的步骤之后，为了验证集群是否可以正常工作，我们需要运行一个spark任务进行测试，在spark安装包中有提供给我们测试的jar包，试着运行，成功则说明我们的集群已经可以正常使用了。运行命令如下，这里要注意的是jar包的位置需要根据你机器spark存放的路径进行修改
bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node1:7077,node2:7077,node3:7077 --executor-memory 1G --total-executor-cores 2 /app/spark-2.2.0/examples/jars/spark-examples_2.11-2.2.0.jar 100
5.编写你的第一个Spark应用
相信了解过大数据相关框架的同学会很熟悉一个词，叫做词频统计，意思就是根据你提供文本中的单词，进行一个相关的统计，并得到每个关键词的总数，这个可以说是入门spark的时候都会进行编写的小应用，在这个专栏我们将使用scala语言进行编写，scala的语法较为简介，可以提高我们的编码效率。下面我们就是用spark编写第一个应用词频统计。
6.环境搭建
在本地运行spark项目之前，我们需要进行本地环境的搭建，这里我们使用的工具是IDEA，通过创建Maven工程的方式倒入spark的依赖与环境，Maven工程没有别的要求，创建个空的maven工程即可，工程的pop.xml依赖如下，供搭建参考，这里可以根据每个人电脑对应安装包的版本进行修改，正常来说版本不要差距太大，防止打包到集群运行时出问题。
8.总结
到这里我们就完成了集群的搭建与第一个小案例的运行，如果操作过程中遇到问题可以私信我，博主会尽力帮你解答💪。其次就是由于第一个案例的编写中涉及到了spark算子的时候，小伙伴们对着敲的时候可能会有点蒙，这个不用担心，先敲进去运行出来结果，接下来的专栏文章将会详细对代码出现的算子以及使用方式进行说明，Spark专栏地址。更多的大数据资料以及本文安装包可以通过下方公众号获取哦，加入小禅的🏘️大数据技术社区一起交流学习，感谢支持！💪
