配置spark,并在idea中搭建项目

简介: 配置spark,并在idea中搭建项目

网上的普遍太久远,不太适配,记录自己的完美搭建

一、配置spark

1.配置maven(注意选择版本为3.6.3)

参考:https://blog.csdn.net/huo920/article/details/82082403

但这一步是多余的

2.下载scala(注意版本对应为2.12)

查看scala版本:scala -version

查看对应关系:https://mvnrepository.com/artifact/org.apache.spark/spark-core

安装scala参考:https://cloud.tencent.com/developer/article/1733776

官网:https://www.scala-lang.org/download/

然后选择特定的版本

3.下载spark(注意版本选择3.1.3)

不要太新了,否则spark-shell会报错,需要降低版本

https://zhuanlan.zhihu.com/p/149469688

检验:cmd中spark-shell

二、搭建idea项目

1.创建项目

由于版本较新,maven版本配置全靠自己琢磨,可惜自己没琢磨透

感谢好友@玥的热心帮助,通过直接创建项目解决问题

参考:https://blog.csdn.net/github_38924695/article/details/118510289?utm_source=app&app_version=5.3.1&code=app_1562916241&uLinkId=usr1mkqgl919blen

注意:点击IDEA右上角放大镜左边的按钮(Project Structure),或者快捷键ctrl + shift + alt + S,点击Modules:

(要包括scala-sdk和spark的jars包:D:\Programs\pyspark\spark-3.1.3-bin-hadoop3.2\jars)

2.导包解决爆红

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Dataset, SparkSession}

3.成果展示

4.附上测试代码

注意!!package和object test1 为自己的哈

package main.scala
object test1 {
  def main(args: Array[String]): Unit = {
    println("Hello Scala")
  }
}

三、心得

完结撒花,仙女落泪QAQ

有问题可以发评论区,我看到会回复

折腾三天,理论把坑踩遍了hhh

目录
相关文章
|
24天前
|
Java 程序员 API
Springboot-swagger配置(idea社区版2023.1.4+apache-maven-3.9.3-bin)
Springboot-swagger配置(idea社区版2023.1.4+apache-maven-3.9.3-bin)
30 1
|
10天前
|
Java Maven
idea中项目和module的环境版本设置
idea中项目和module的环境版本设置
10 0
|
24天前
|
前端开发 Java 数据库连接
Springboot-MyBatis配置-配置端口号与服务路径(idea社区版2023.1.4+apache-maven-3.9.3-bin)
Springboot-MyBatis配置-配置端口号与服务路径(idea社区版2023.1.4+apache-maven-3.9.3-bin)
12 0
|
25天前
|
Java Maven
【Maven】下载配置maven以及IDEA配置maven详情
【Maven】下载配置maven以及IDEA配置maven详情
69 0
|
1天前
|
IDE Java Maven
IntelliJ IDEA配置开发环境
IntelliJ IDEA配置开发环境
|
2天前
IDEA第一次上传项目到gitlab
IDEA第一次上传项目到gitlab步骤
|
2天前
|
缓存 JavaScript 前端开发
IDEA启动VUE前端项目
IDEA启动VUE前端项目操作流程
|
6天前
|
分布式计算 Java Scala
spark 与 scala 的对应版本查看、在idea中maven版本不要选择17,弄了好久,换成11就可以啦
spark 与 scala 的对应版本查看、.在idea中maven版本不要选择17,弄了好久,换成11就可以啦
23 2
|
26天前
|
数据采集 分布式计算 Linux
Spark实时(数据采集)项目小知识点--sed -i命令详解及入门攻略
Spark实时(数据采集)项目小知识点--sed -i命令详解及入门攻略
81 0
|
26天前
|
XML Java 数据格式
idea自动去除项目无用import以及注释不顶格且注释后空格设置(包括新建项目)
idea自动去除项目无用import以及注释不顶格且注释后空格设置(包括新建项目)
17 0