配置spark，并在idea中搭建项目

网上的普遍太久远，不太适配，记录自己的完美搭建

一、配置spark

1.配置maven（注意选择版本为3.6.3）

参考：https://blog.csdn.net/huo920/article/details/82082403

但这一步是多余的

2.下载scala（注意版本对应为2.12）

查看scala版本：scala -version

查看对应关系：https://mvnrepository.com/artifact/org.apache.spark/spark-core

安装scala参考：https://cloud.tencent.com/developer/article/1733776

官网：https://www.scala-lang.org/download/

然后选择特定的版本

3.下载spark（注意版本选择3.1.3）

不要太新了，否则spark-shell会报错，需要降低版本

https://zhuanlan.zhihu.com/p/149469688

检验：cmd中spark-shell

二、搭建idea项目

1.创建项目

由于版本较新，maven版本配置全靠自己琢磨，可惜自己没琢磨透

感谢好友@玥的热心帮助，通过直接创建项目解决问题

参考：https://blog.csdn.net/github_38924695/article/details/118510289?utm_source=app&app_version=5.3.1&code=app_1562916241&uLinkId=usr1mkqgl919blen

注意：点击IDEA右上角放大镜左边的按钮（Project Structure），或者快捷键ctrl + shift + alt + S，点击Modules：

（要包括scala-sdk和spark的jars包：D:\Programs\pyspark\spark-3.1.3-bin-hadoop3.2\jars）

2.导包解决爆红

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Dataset, SparkSession}

3.成果展示

4.附上测试代码

注意！！package和object test1 为自己的哈

package main.scala
object test1 {
  def main(args: Array[String]): Unit = {
    println("Hello Scala")
  }
}

三、心得

完结撒花，仙女落泪QAQ

有问题可以发评论区，我看到会回复

折腾三天，理论把坑踩遍了hhh