Spark(八) -- 使用Intellij Idea搭建Spark开发环境

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/45954731 Inte...
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/45954731

Intellij Idea下载地址:
官方下载
选择右下角的Community Edition版本下载安装即可

本文中使用的是windows系统
环境为:
jdk1.6.0_45
scala2.10.5

在网上下载jdk和scala的安装包双击运行安装即可

注意:如果之后要将scala文件打包成jar包并在spark集群上运行的话,请确保spark集群和打包操作所在机器 环境保持一致!不然运行jar包会出现很多异常

要使用idea开发spark程序首先要安装scala插件
进入idea主界面

在线安装:
选择Plugins
这里写图片描述
输入scala
这里写图片描述
选择安装即可

离线安装:
scala离线插件包
下载完scala插件包之后,在idea主界面的Plugins中选择从本地安装
这里写图片描述
选择下载好的scala插件安装即可

本文使用的是Idea14.1.3 对应的scala插件版本为1.5
不同版本的Idea对应的scala插件版本可能不同,无法识别

现在可以用idea来新建一个scala项目
New Project->Scala
这里写图片描述

再此页面中选择jdk和scala安装的目录,Idea会自动识别
这里写图片描述

Finish完成Project的创建

在File中选择Project Structure对项目进行配置
这里写图片描述

选中左侧的Mudules,点击+号添加一下新的Module。Idea中的Project相当于Eclipse中的一个WorkSpace,里面的Module相当于Project
这里写图片描述

新建一个First的Module
这里写图片描述

在src目下新新建main和scala目录,并设置为Sources类型
这里写图片描述

点击左侧的Liberaries,点击+进行添加spark的jar包
这里写图片描述

只要引入图中的那个jar包即可,spark版本为1.3.1,一般下载spark之后可以在其目录下找到
这里写图片描述

在scala文件夹下右键新建一个scala class,类型选择为Object
这里写图片描述

编写简单的代码
这里写图片描述

File->Project Structure->在右侧选择Artifacts->JAR->From modules with dependencies
这里写图片描述

选择新建的Test
这里写图片描述

将默认的SparkApp:jar重新名一下,并将依赖包删除,只剩First这个module本身(因为集群上已经安装了jdk,scala和spark,所以那些包可以去掉节省编译时间)
这里写图片描述

在菜单栏上选择Build->Build Artifacts
这里写图片描述

如图所示的操作
这里写图片描述

编译成功后可以在对应的输出文件夹下找到jar包
这里写图片描述

需要注意:
编译选择Main Class时如果是手动选择Object的话,Idea会弹出错误提示xx is not acceptable,而让其自动过滤选择的时候就不会。。。

scala代码中,如果注释中有中文默认可能会编译错误
在下图设置中加入
-ENCODING UTF-8
即可
这里写图片描述

相关文章
|
Java 应用服务中间件 Maven
在IntelliJ IDEA中如何配置使用Maven以创建Tomcat环境
所以,别担心这些工具看起来有些吓人,实际上这些都是为了帮助你更好的完成工作的工具,就像超市里的各种烹饪工具一样,尽管它们看起来可能很复杂,但只要你学会用,它们会为你烹饪出一道道美妙的食物。这就是学习新技能的乐趣,让我们一起享受这个过程,攀登知识的高峰!
866 27
|
IDE Oracle Java
day4:JDK、IntelliJ IDEA的安装和环境变量配置
【7月更文挑战第4天】🏆本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&订阅!持续更新中,up!up!up!!
931 0
|
IDE 程序员 开发工具
只用正版!教你5个方法,白嫖JetBrains家族的所有产品,包含:IntelliJ IDEA、PyCharm、WebStorm、CLion、Rider
程序员晚枫分享了5种官方认证的免费使用JetBrains家族产品的方法,包括内容创作者计划、开源项目支持、教育许可证、用户组支持和开发者认可计划。这些方法帮助个人开发者与小型团队合法获取强大开发工具,如IntelliJ IDEA、PyCharm等,降低开发成本,提升效率。同时提醒大家遵守使用规范,尊重知识产权。
2964 13
|
Java Maven 开发者
入职必会-开发环境搭建14-IDEA配置Maven
在 IDEA 中配置 Maven 可以帮助开发者更方便地管理项目依赖、构建项目和部署应用程序。要在 IDEA 中配置 Maven,可以按照以下步骤进行。
748 1
入职必会-开发环境搭建14-IDEA配置Maven
|
应用服务中间件
入职必会-开发环境搭建23-IDEA配置Tomcat
IDEA配置Tomcat分为两部分: 1. IDEA集成本地Tomcat 2. IDEA中使用Tomcat部署Web项目 在配置IntelliJ IDEA中的Tomcat时,首先需要打开IDEA,选择菜单中的Run -> Edit Configurations,在左侧菜单中找到+并点击,然后选择Tomcat Server下的Local(注意不要选择错了,下方还有个TomEE Server,不是选这个)。接下来,输入一个自定义的名字作为Tomcat的配置名称,点击Configure...配置Tomcat的安装路径。这样IDEA就配置好了Tomcat。
752 1
|
Java 开发工具
入职必会-开发环境搭建05-IDEA使用
本文介绍了IDEA的核心概念,项目创建,模块创建,包的创建,类的创建,代码编写也运行。
390 0
入职必会-开发环境搭建05-IDEA使用
|
Shell iOS开发 MacOS
入职必会-开发环境搭建04-IDEA激活
本方法是市面上最简单、方便的JetBrains全家桶激活方法,包含IDEA、PyCharm、CLion、DataGrip、GoLand、PhpStorm、WebStorm均可激活并且支持最新的2023版本。
789 0
入职必会-开发环境搭建04-IDEA激活
|
网络协议 安全 Linux
在IntelliJ IDEA中使用固定公网地址远程SSH连接服务器环境进行开发
在IntelliJ IDEA中使用固定公网地址远程SSH连接服务器环境进行开发
1238 2
|
Linux 开发工具 Windows
在WSL2中安装IntelliJ IDEA开发工具
在WSL2中安装IntelliJ IDEA开发工具
2159 2
|
IDE Java Scala
IntelliJ IDEA 2023.3 最新变化2
IntelliJ IDEA 2023.3 最新变化
442 1