IDEA开发Spark应用实战(Scala)

简介: 实战IDEA开发Scala版的Spark应用

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码): https://github.com/zq2599/blog_demos
  • Scala语言在函数式编程方面的优势适合Spark应用开发,IDEA是我们常用的IDE工具,今天就来实战IDEA开发Scala版的Spark应用;

版本信息

  • 以下是开发环境:
  1. 操作系统:win10;
  2. JDK:1.8.0_191;
  3. IntelliJ IDEA:2018.2.4 (Ultimate Edition)
  • 以下是运行环境:
  1. Spark:2.3.3;
  2. Scala:2.11.12;
  3. Hadoop:2.7.7;

下载Spark安装包

在这里插入图片描述

  • 将下载好的文件解压,例如我这里解压后所在目录是:C:\software\spark-2.3.3-bin-hadoop2.7

IDEA安装scala插件

  • 打开IDEA,选择"Configure"->"Plugins",如下图:

在这里插入图片描述

  • 如下图,在红框1输入"scala",点击红框2,开始在中央仓库说搜索:

在这里插入图片描述

  • 在搜索结果中选中"scala",再点击右侧的"Install",如下:

在这里插入图片描述

  • 等待在线安装成功后,点击"Restart IntelliJ IDEA",如下:

在这里插入图片描述

新建scala工程

  • 点击下图红框,创建一个新工程:

在这里插入图片描述

  • 在弹出窗口中选择"Scala"->"IDEA",如下图:

在这里插入图片描述

  • 如下图,在红框1中输入项目名称,点击红框2,选择Scala SDK:

在这里插入图片描述

  • 在弹出的窗口选择"2.11.12"版本,如下图:

在这里插入图片描述

  • 点击下图红中的"Finish",完成工程创建:

在这里插入图片描述

  • 工程创建成功了,接下来是添加spark库,点击"File"->"Project Structure",如下图:

在这里插入图片描述

  • 在弹出窗口选择新增一个jar库,如下图:

在这里插入图片描述

  • 在弹出窗口选择前面安装的spark-2.3.3-bin-hadoop2.7文件夹下面的jar文件夹,如下:

在这里插入图片描述

  • 如下图,弹出的窗口用来选择模块,就选工程目录即可:

在这里插入图片描述

  • 至此,整个spark开发环境已经设置好了,现在写一个demo试试,创建一个object,源码如下:
package com.bolingcavalry.sparkscalademo.app

import org.apache.spark.{SparkConf, SparkContext}

/**
  * @Description: 第一个scala语言的spark应用
  * @author: willzhao E-mail: zq2599@gmail.com
  * @date: 2019/2/16 20:23
  */
object FirstDemo {
  def main(args: Array[String]): Unit={
    val conf = new SparkConf()
      .setAppName("first spark app(scala)")
      .setMaster("local[1]");

    new SparkContext(conf)
      .parallelize(List(1,2,3,4,5,6))
      .map(x=>x*x)
      .filter(_>10)
      .collect()
      .foreach(println);
  }
}
  • 以上代码的功能很简单:创建用一个数组,将每个元素做平方运算,再丢弃小于10的元素,然后逐个打印出来;
  • 代码完成后,点击右键选择"Run FirstDemo",即可立即在本机运行,如下图:

在这里插入图片描述

  • 由于windows环境并没有做hadoop相关配置,因此控制台上会有错误堆栈输出,但这些信息并不影响程序运行(本例没有用到hadoop),输出如下,可见结果已经被打印出来(16、25、36):
2019-02-17 09:04:21 INFO  TaskSchedulerImpl:54 - Removed TaskSet 0.0, whose tasks have all completed, from pool 
2019-02-17 09:04:21 INFO  DAGScheduler:54 - ResultStage 0 (collect at FirstDemo.scala:20) finished in 0.276 s
2019-02-17 09:04:21 INFO  DAGScheduler:54 - Job 0 finished: collect at FirstDemo.scala:20, took 0.328611 s
16
25
36
2019-02-17 09:04:21 INFO  SparkContext:54 - Invoking stop() from shutdown hook
2019-02-17 09:04:21 INFO  AbstractConnector:318 - Stopped Spark@452ba1db{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
2019-02-17 09:04:21 INFO  SparkUI:54 - Stopped Spark web UI at http://DESKTOP-82CCEBN:4040
2019-02-17 09:04:21 INFO  MapOutputTrackerMasterEndpoint:54 - MapOutputTrackerMasterEndpoint stopped!
2019-02-17 09:04:21 INFO  MemoryStore:54 - MemoryStore cleared
2019-02-17 09:04:21 INFO  BlockManager:54 - BlockManager stopped
2019-02-17 09:04:21 INFO  BlockManagerMaster:54 - BlockManagerMaster stopped
2019-02-17 09:04:21 INFO  OutputCommitCoordinator$OutputCommitCoordinatorEndpoint:54 - OutputCommitCoordinator stopped!
2019-02-17 09:04:21 INFO  SparkContext:54 - Successfully stopped SparkContext
2019-02-17 09:04:21 INFO  ShutdownHookManager:54 - Shutdown hook called
2019-02-17 09:04:21 INFO  ShutdownHookManager:54 - Deleting directory C:\Users\12167\AppData\Local\Temp\spark-4bbb584a-c7c2-4dc8-9c7e-473de7f8c326

Process finished with exit code 0

构建打包,提交到spark环境运行

  • 生产环境下一般是将应用构建打包成jar,放到spark集群中运行,所以我们来操作构建打包;
  • 在菜单上选择"File"->"Project Structure",弹出窗口点击"Artifacts",选择新增jar,如下图:

在这里插入图片描述

  • 如下图,在弹出的窗口中,红框1位置输入要运行的class,红框2选择的是单选框的第二个"copy to the output ...":

在这里插入图片描述

  • 在菜单上选择"Build"->"Build Artifacts...",如下图:

在这里插入图片描述

  • 在弹出的菜单中选择"sparkscalademo:jar"->"Rebuild",如下:

在这里插入图片描述

  • 如果编译成功,在项目的out\artifacts目录下就会生成文件sparkscalademo.jar,如下:

在这里插入图片描述

  • 将文件上传到spark服务器上,执行提交命令:
spark-submit --class com.bolingcavalry.sparkscalademo.app.FirstDemo /root/jars/sparkscalademo.jar
  • 控制台会显示运行信息和结果,如下图:

在这里插入图片描述

  • 至此,idea开发spark应用实战就完成了,希望在您配置开发环境的时候本文能够提供一些参考;

欢迎关注华为云博客:程序员欣宸

学习路上,你不孤单,欣宸原创一路相伴...
相关文章
|
2天前
|
SQL Java 数据库连接
IDEA开发插件有哪些值得推荐?
这篇文章介绍了IntelliJ IDEA中的一些高效插件,包括RestfulTool(用于快速定位API)、Translation(便捷的代码翻译工具)、Alibaba Java Coding Guidelines(代码规范检查)、Free MyBatis Tool(增强MyBatis开发体验)和Mybatis Log(SQL日志查看)。此外,还提到了Vue.js插件以及可选装的Grep Console(控制台日志分析)、Maven Helper(解决Maven依赖冲突)和Private Notes(源码注释管理)。作者提醒,虽然插件有用,但过多会影响IDE性能,应注重质量而非数量。
|
8天前
|
分布式计算 算法 调度
DAG(有向无环图)在Spark中的应用
DAG(有向无环图)在Spark中的应用
9 0
|
9天前
|
Java 编译器 Scala
IDEA上的Scala环境搭建
本文指导如何搭建Scala开发环境。首先,安装Scala编译器`scala-2.12.10.msi`,通过DOS窗口验证安装成功。然后,在IDEA中,安装Scala插件,创建Maven工程,删除默认包,新建Scala源码包,并在其中创建Scala Object类。接着,配置项目结构,添加Scala SDK,确保Maven、Language Level和Compiler的bytecode版本设置正确。最后,编写并测试基本的Scala代码。
30 2
IDEA上的Scala环境搭建
|
9天前
|
JSON Java Maven
IDEA开发过程中常用插件必备
本文介绍了提升IntelliJ IDEA开发效率的几个插件:Codota用于强大代码补全;Auto filling Java call arguments自动填充函数参数,节省手动填充时间;GsonFormat能快速将JSON转换为Java实体类;Rainbow Brackets帮助识别括号所属代码块;Maven Helper提供高效查看和分析Maven依赖树功能;Key Promoter X提醒使用快捷键代替鼠标操作;最后还分享了如何设置背景图片以提升编码心情。
|
9天前
IDEA开发中,类的头位置生成作者时间信息
IDEA开发中,类的头位置生成作者时间信息
|
9天前
|
人工智能 自然语言处理 Java
用智谱 GLM-4大模型开发自己的IDEA插件
V 哥建议研究大模型先从研究开放 API 开始,作为程序员的你觉对不是什么难事,通过研究 API 的过程中,可以让你更加了解大模型的原理,当然想要更深入的理解,需要对开源大模型的源码进行研究,根据个人的技术能力,量力而行。研究 API 是第一步,目前热招的岗位中,就有基于大模型开放 API 做应用开发的,大家可以在招聘站点上具体看看职位要求。
用智谱 GLM-4大模型开发自己的IDEA插件
|
9天前
|
Java Maven Kotlin
[AIGC] 请你写一遍博客介绍 “使用idea+kotinlin+springboot+maven 结合开发一个简单的接口“,输出markdown格式,用中文回答,请尽可能详细
[AIGC] 请你写一遍博客介绍 “使用idea+kotinlin+springboot+maven 结合开发一个简单的接口“,输出markdown格式,用中文回答,请尽可能详细
135 0
|
9天前
|
安全 Java 数据库连接
在IntelliJ IDEA中通过Spring Boot集成达梦数据库:从入门到精通
在IntelliJ IDEA中通过Spring Boot集成达梦数据库:从入门到精通
|
9天前
|
存储 IDE Java
IntelliJ IDEA 安装及配置详细教程
IntelliJ IDEA 安装及配置详细教程
31 0
|
9天前
Mac上IntelliJ IDEA设置类注释和方法注释带作者和日期
Mac上IntelliJ IDEA设置类注释和方法注释带作者和日期