Sparkstreaming 案例-创建工程 | 学习笔记

简介: 快速学习 Sparkstreaming 案例-创建工程

开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 案例-创建工程】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/692/detail/12131


Sparkstreaming 案例-创建工程

内容介绍

一、Sparkstreaming 案例大致流程

二、创建工程

 

一、Sparkstreaming 案例大致流程

首先创建一个 socket server,将数据进行处理放入 Spark Streaming,将处理完的数据放入外部存储当中,运用 net cat 创建 Socket,之后创建工程 编写Sparkstreaming 编码完成后,运行

 

二、创建工程

打开 idea

进入编写界面

Group   cn.itcast

Artifactld  st/eaming

version  0.1.0

image.png

点击 next,目录选择以往的扣本目录下,创建目录,进行导入,加入依赖

<dependencies>

<dependency>

<groupid>org-scala lang </groupid>

<artifactid>scala -library< /artfactid

版本选择 <version>2.11.8 <version>

<dependency>

<dependency>

<groupid>org-apace.spark </groupid>

第一个包<artifactid>spark-core-2.11< /artfactid

第二个包<version>2.2.0<version>

<dependency>

<groupid>org-apache.spark  </groupid>

<artifactid>spark-core2.11< /artfactid

<version>2.11.0 <version>

三个包已经导入完成,继续导入

<dependency>

<groupid>org-slf4 </groupid>

<artifactid>slf4 -simple< /artfactid

<version>1.7.12<version>

<dependency>

<dependency>

<groupid>junit </groupid>

<artifactid>junit< /artfactid

导入 junit 后,选择版本

<version>4.12<version>

<scope>provided<scope>

<dependency>

<dependencies>

<build>标签

<sourcedirectory> src /main/ scala

指定新的 sourcedirectory 目录

<sourcedirectory>

<testsourcedirectory>src/test/scala<testsourcedirectory>

<build>

<pliugin>

<groupid>net alchim31 .maven <groupid>

<galos>

<goal>complice<goal>

<goal>testcomplice<goal>

<configuration>

<execution>

<plugin>

<plugins>

<galos>

<build>

<pliugin>

</project>

导入完成,完成后,创建目录

<testsourcedirectory>src/test/scala<testsourcedirectory>

在 text 下属,创建 java 和 scaia

准备工作即可完成

相关文章
|
5天前
|
前端开发 Java Apache
Apache Zeppelin系列教程第七篇——运行paragraph的整个流程分析
Apache Zeppelin系列教程第七篇——运行paragraph的整个流程分析
38 0
|
5天前
|
SQL Java 数据库连接
Apache Zeppelin系列教程第四篇——JDBCInterpreter原理分析
Apache Zeppelin系列教程第四篇——JDBCInterpreter原理分析
37 0
|
5天前
|
分布式计算 Hadoop Scala
Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
【4月更文挑战第13天】Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
37 0
|
5天前
|
SQL 分布式计算 Java
Spark学习---SparkSQL(概述、编程、数据的加载和保存、自定义UDFA、项目实战)
Spark学习---SparkSQL(概述、编程、数据的加载和保存、自定义UDFA、项目实战)
143 1
|
5天前
|
分布式计算 Spark
Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
【2月更文挑战第14天】Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
36 1
|
5天前
|
SQL 关系型数据库 MySQL
Apache StreamPark系列教程第二篇——项目打包和开发
Apache StreamPark系列教程第二篇——项目打包和开发
95 0
|
5天前
|
消息中间件 关系型数据库 MySQL
SparkStreaming【实例演示】
SparkStreaming【实例演示】
|
分布式计算 大数据 Shell
Spark 环境搭建_配置 HistoryServer|学习笔记
快速学习 Spark 环境搭建_配置 HistoryServer
356 0
Spark 环境搭建_配置 HistoryServer|学习笔记
|
SQL 分布式计算 Java
Kudu 使用_创建工程 | 学习笔记
快速学习 Kudu 使用_创建工程
128 0
Kudu 使用_创建工程 | 学习笔记
|
分布式计算 Hadoop 大数据
SparkStreaming 案例_运行 | 学习笔记
快速学习 SparkStreaming 案例_运行
55 0
SparkStreaming 案例_运行 | 学习笔记