spark开发环境详细教程1:IntelliJ IDEA使用详细说明

简介: spark开发环境详细教程1:IntelliJ IDEA使用详细说明

各种开发环境的搭建,其实都是听简单。甚至我们可以通过命令行来开发。而且最原始的编程,其实可以通过文本或则cmd即可。还有maven,sbt等。后来的发展过程中,为了更加方便我们编程,于是发展出来了,更高级的编程工具,Java有eclipse等工具,而Scala有IntelliJ IDEA.当然eclipse也可以写Scala代码。由于编程的发展,方便我们编程的同时,我们也需要花费成本来学习这些工具。下面就详细介绍下IntelliJ IDEA.



IntelliJ IDEA的安装,这时候需要考虑是在Linux上安装,还是在window上安装。Linux安装还是比较方便的,而且遇到问题资料也比较多一些。比如使用sbt,网速慢一些。Linux上就比较容易解决。相信也有很多人习惯window,希望在window上安装IntelliJ IDEA.

这里主要介绍如何在window下安装IntelliJ IDEA,及需要jdk和Scala。


准备工作


首先需要下载IntelliJ IDEA、jdk和Scala


ideaIC-2017.1.5

链接: https://pan.baidu.com/s/1slAuGe5 密码: 7g7a


scala-2.12.2

链接: https://pan.baidu.com/s/1eS4B2xW 密码: xhh4



jdk1.8.0_25

链接:http://pan.baidu.com/s/1eSu2fCm 密码:58bx

安装jdk


首先解压jdk1.8.0_25到相应的路径。配置下环境变量

857457a19dfb294c3253ec135317ef61.jpg


252762a624307b55f1b239907a0f3c6e.jpg


分别配置下JAVA_HOME,PATH

我这里JAVA_HOME为D:\aboutyun_log_analysis\jdk1.8.0_25

PATH里面应该很多内容,将%JAVA_HOME%\bin;放到里面即可,对于前面记得需要分号隔开。

PATH=;%JAVA_HOME%\bin;

最后验证jdk

java -version

d6d189d446a075ce46b2dd4a17c47e65.jpg



安装Scala


scala-2.12.2.msi直接安装即可。安装后同样是配置SCALA_HOME,及PATH的配置。

设置SCALA_HOME为C:\Program Files (x86)\scala

1428622f845846c0041fbc27a432abaa.jpg


PATH=PATH=;%SCALA_HOME%\bin;


验证scala


直接输入

Scala

b94e7a48f939450cb81afdab0e059fd9.jpg


Scala的版本有的可能不适合开发。scala-2.12.2在某些情况下不被识别。


可安装scala-2.10.6

链接: https://pan.baidu.com/s/1miQJWyW 密码: uw3p

scala-2.10.6直接下载解压,然后按照上面步骤配置SCALA_HOME及PATH即可。

配置完后,直接验证即可

276babb92a63575ffa80cb4ad1961fd7.jpg



IntelliJ IDEA安装


jdk和Scala的安装,是为IntelliJ IDEA的使用做准备。使用IntelliJ IDEA需要引入jdk及Scala sdk.

IntelliJ IDEA的安装,一步步安装相信应该没有问题。

IntelliJ IDEA完毕,我们下一步创建Scala项目。可是你会发现,没法创建Scala项目,因为找不到下面Scala项。这是因为我们没有安装Scala插件

e58fa39f2e8e98faa022f3329e1908d3.jpg


刚开始创建项目,我们会看到下面


file->new->Project


445858ba3f78095c27d79aa5a4b3eb4e.jpg


如下图并没有Scala选项,所以下面我们需要添加Scala插件


07031309ba95a01718a3d82b30ed121f.jpg




IntelliJ IDEA插件安装


这里我们安装Scala和sbt插件。插件的安装方式有三种

1.插件安装

2.库安装

3.本地安装


分别对应图示下面的三种

07031309ba95a01718a3d82b30ed121f.jpg


这里主要介绍2,3

在介绍安装方式之前,首先我们知道通过那里安装插件。

通过file->settings

e0d643b5f2fab1adaa348812a28550b0.jpg


进入我们的插件界面



现在就要开始安装了。

1.通过库安装

库安装非常简单,只要里面搜索安装的插件即可。

比如Scala


fb236167f411b41a25c17d8554a6e1ec.jpg


输入Scala后,会将相关内容都会显示,在图中4位置,通过下拉框,下拉后我们找到Scala


7a8e6b36f29cb1efcab86cef7582e40e.jpg


点击install,看到下面


0199f4f19154affdaca534d4d829a85d.jpg

有的网络不能安装,可以通过磁盘安装。

推荐参考

about云日志分析项目准备10-2:Windows Intellij idea配置scala开发环境

http://www.aboutyun.com/forum.php?mod=viewthread&tid=20912



下载完毕,可看到下面界面,重启IntelliJ IDEA

93965e0d1feafaceeae16a7c2dc52224.jpg



这时候我们就看到了Scala选项。同样安装sbt


c5e9604e10542741e346d15af083e346.jpg


这时候我们看到了Scala选项


75d75d29ff7f190104f12ed0175a7f6f.jpg


2.本地安装


Scala通过库安装经常失败。我们通过官网下载,然后本地安装。

我们通过官网下载

https://plugins.jetbrains.com/plugin/1347-scala




然后放到本地磁盘


131a8dc1b78ec65059619447c7fc1588.jpg



通过install plugin from disk安装即可


9f4a48ed6a0004e2b75d4c1da0781bd0.jpg



安装后重启。

这里面需要注意的问题,在安装插件的时候注意版本兼容。需要下载scala-intellij-bin-2017.1.20.zip

网盘下载

链接:http://pan.baidu.com/s/1dEUfIW5 密码:tfvf


目录
相关文章
|
4月前
|
IDE Oracle Java
day4:JDK、IntelliJ IDEA的安装和环境变量配置
【7月更文挑战第4天】🏆本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&订阅!持续更新中,up!up!up!!
204 0
|
4月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例,介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
388 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
|
4月前
|
分布式计算 运维 Serverless
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
在大数据快速发展的时代,流式处理技术对于实时数据分析至关重要。EMR Serverless Spark提供了一个强大而可扩展的平台,它不仅简化了实时数据处理流程,还免去了服务器管理的烦恼,提升了效率。本文将指导您使用EMR Serverless Spark提交PySpark流式任务,展示其在流处理方面的易用性和可运维性。
262 7
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
|
3月前
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有效地管理数据处理任务。
194 0
|
3月前
|
分布式计算 Java Linux
【Deepin 20系统】Linux 系统安装Spark教程及使用
在Deepin 20系统上安装和使用Apache Spark的详细教程,包括安装Java JDK、下载和解压Spark安装包、配置环境变量和Spark配置文件、启动和关闭Spark集群的步骤,以及使用Spark Shell和PySpark进行简单操作的示例。
61 0
|
4月前
|
网络协议 安全 Linux
在IntelliJ IDEA中使用固定公网地址远程SSH连接服务器环境进行开发
在IntelliJ IDEA中使用固定公网地址远程SSH连接服务器环境进行开发
92 2
|
5月前
|
IDE Java Scala
IntelliJ IDEA 2023.3 最新变化2
IntelliJ IDEA 2023.3 最新变化
|
4月前
|
缓存 Java Maven
IntelliJ IDEA中无法加载jar包导致出现“cannot resolve symbol...”问题的解决
IntelliJ IDEA中无法加载jar包导致出现“cannot resolve symbol...”问题的解决
154 0
|
4月前
|
存储 Oracle Java
Java面试题:描述如何使用Eclipse或IntelliJ IDEA进行Java开发?
Java面试题:描述如何使用Eclipse或IntelliJ IDEA进行Java开发?
47 0
|
5月前
|
监控 IDE Java
探索 IntelliJ IDEA 中 Spring Boot 运行配置选项及其作用
探索 IntelliJ IDEA 中 Spring Boot 运行配置选项及其作用
458 0