Sparkstreaming 案例-创建工程 | 学习笔记

简介: 快速学习 Sparkstreaming 案例-创建工程

开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 案例-创建工程】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/692/detail/12131


Sparkstreaming 案例-创建工程

内容介绍

一、Sparkstreaming 案例大致流程

二、创建工程

 

一、Sparkstreaming 案例大致流程

首先创建一个 socket server,将数据进行处理放入 Spark Streaming,将处理完的数据放入外部存储当中,运用 net cat 创建 Socket,之后创建工程 编写Sparkstreaming 编码完成后,运行

 

二、创建工程

打开 idea

进入编写界面

Group   cn.itcast

Artifactld  st/eaming

version  0.1.0

image.png

点击 next,目录选择以往的扣本目录下,创建目录,进行导入,加入依赖

<dependencies>

<dependency>

<groupid>org-scala lang </groupid>

<artifactid>scala -library< /artfactid

版本选择 <version>2.11.8 <version>

<dependency>

<dependency>

<groupid>org-apace.spark </groupid>

第一个包<artifactid>spark-core-2.11< /artfactid

第二个包<version>2.2.0<version>

<dependency>

<groupid>org-apache.spark  </groupid>

<artifactid>spark-core2.11< /artfactid

<version>2.11.0 <version>

三个包已经导入完成,继续导入

<dependency>

<groupid>org-slf4 </groupid>

<artifactid>slf4 -simple< /artfactid

<version>1.7.12<version>

<dependency>

<dependency>

<groupid>junit </groupid>

<artifactid>junit< /artfactid

导入 junit 后,选择版本

<version>4.12<version>

<scope>provided<scope>

<dependency>

<dependencies>

<build>标签

<sourcedirectory> src /main/ scala

指定新的 sourcedirectory 目录

<sourcedirectory>

<testsourcedirectory>src/test/scala<testsourcedirectory>

<build>

<pliugin>

<groupid>net alchim31 .maven <groupid>

<galos>

<goal>complice<goal>

<goal>testcomplice<goal>

<configuration>

<execution>

<plugin>

<plugins>

<galos>

<build>

<pliugin>

</project>

导入完成,完成后,创建目录

<testsourcedirectory>src/test/scala<testsourcedirectory>

在 text 下属,创建 java 和 scaia

准备工作即可完成

相关文章
|
6月前
|
分布式计算 API Spark
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
121 11
|
6月前
|
前端开发 Java Apache
Apache Zeppelin系列教程第七篇——运行paragraph的整个流程分析
Apache Zeppelin系列教程第七篇——运行paragraph的整个流程分析
84 0
|
6月前
|
分布式计算 Java 程序员
Spark3.0源码编译打包
Spark3.0源码编译打包
36 0
|
6月前
|
SQL 分布式计算 Java
Spark学习---SparkSQL(概述、编程、数据的加载和保存、自定义UDFA、项目实战)
Spark学习---SparkSQL(概述、编程、数据的加载和保存、自定义UDFA、项目实战)
368 1
|
6月前
|
分布式计算 Spark
Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
【2月更文挑战第14天】Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
86 1
|
6月前
|
SQL 关系型数据库 MySQL
Apache StreamPark系列教程第二篇——项目打包和开发
Apache StreamPark系列教程第二篇——项目打包和开发
239 0
|
分布式计算 资源调度 Java
使用Maven构建Hadoop工程并实现词频统计案例(详细篇)
使用Maven构建Hadoop工程并实现词频统计案例(详细篇)
226 0
使用Maven构建Hadoop工程并实现词频统计案例(详细篇)
|
SQL 资源调度 Kubernetes
Apache Flink 1.15.2 源码目录查看
Apache Flink 1.15.2 源码目录查看
459 0
Apache Flink 1.15.2 源码目录查看
|
分布式计算 Hadoop 大数据
SparkStreaming 案例_运行 | 学习笔记
快速学习 SparkStreaming 案例_运行
SparkStreaming 案例_运行 | 学习笔记
|
分布式计算 大数据 数据处理
Sparkstreaming 案例-代码编写 | 学习笔记
快速学习 Sparkstreaming 案例-代码编写
Sparkstreaming 案例-代码编写 | 学习笔记