Sparkstreaming 案例-创建工程 | 学习笔记

简介: 快速学习 Sparkstreaming 案例-创建工程

开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 案例-创建工程】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/692/detail/12131


Sparkstreaming 案例-创建工程

内容介绍

一、Sparkstreaming 案例大致流程

二、创建工程

 

一、Sparkstreaming 案例大致流程

首先创建一个 socket server,将数据进行处理放入 Spark Streaming,将处理完的数据放入外部存储当中,运用 net cat 创建 Socket,之后创建工程 编写Sparkstreaming 编码完成后,运行

 

二、创建工程

打开 idea

进入编写界面

Group   cn.itcast

Artifactld  st/eaming

version  0.1.0

image.png

点击 next,目录选择以往的扣本目录下,创建目录,进行导入,加入依赖

<dependencies>

<dependency>

<groupid>org-scala lang </groupid>

<artifactid>scala -library< /artfactid

版本选择 <version>2.11.8 <version>

<dependency>

<dependency>

<groupid>org-apace.spark </groupid>

第一个包<artifactid>spark-core-2.11< /artfactid

第二个包<version>2.2.0<version>

<dependency>

<groupid>org-apache.spark  </groupid>

<artifactid>spark-core2.11< /artfactid

<version>2.11.0 <version>

三个包已经导入完成,继续导入

<dependency>

<groupid>org-slf4 </groupid>

<artifactid>slf4 -simple< /artfactid

<version>1.7.12<version>

<dependency>

<dependency>

<groupid>junit </groupid>

<artifactid>junit< /artfactid

导入 junit 后,选择版本

<version>4.12<version>

<scope>provided<scope>

<dependency>

<dependencies>

<build>标签

<sourcedirectory> src /main/ scala

指定新的 sourcedirectory 目录

<sourcedirectory>

<testsourcedirectory>src/test/scala<testsourcedirectory>

<build>

<pliugin>

<groupid>net alchim31 .maven <groupid>

<galos>

<goal>complice<goal>

<goal>testcomplice<goal>

<configuration>

<execution>

<plugin>

<plugins>

<galos>

<build>

<pliugin>

</project>

导入完成,完成后,创建目录

<testsourcedirectory>src/test/scala<testsourcedirectory>

在 text 下属,创建 java 和 scaia

准备工作即可完成

相关文章
|
6月前
|
分布式计算 API Spark
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
118 11
|
6月前
|
前端开发 Java Apache
Apache Zeppelin系列教程第七篇——运行paragraph的整个流程分析
Apache Zeppelin系列教程第七篇——运行paragraph的整个流程分析
84 0
|
6月前
|
SQL Java 数据库连接
Apache Zeppelin系列教程第四篇——JDBCInterpreter原理分析
Apache Zeppelin系列教程第四篇——JDBCInterpreter原理分析
70 0
|
12月前
|
关系型数据库 MySQL 调度
DataX教程(05)- DataX Web项目实践
DataX教程(05)- DataX Web项目实践
1319 0
|
6月前
|
分布式计算 Spark
Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
【2月更文挑战第14天】Spark【Spark学习大纲】简介+生态+RDD+安装+使用(xmind分享)
86 1
|
11月前
|
消息中间件 存储 负载均衡
RocketMQ5 PopAck源码拆解
分享RocketMQ5.X Pop,Ack源码解读。内容较多建议PC上对照代码查看,手机你可能会晕
260 0
RocketMQ5 PopAck源码拆解
|
6月前
|
SQL 关系型数据库 MySQL
Apache StreamPark系列教程第二篇——项目打包和开发
Apache StreamPark系列教程第二篇——项目打包和开发
237 0
|
6月前
|
消息中间件 关系型数据库 MySQL
SparkStreaming【实例演示】
SparkStreaming【实例演示】
|
12月前
|
Java DataX Maven
DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)
DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)
635 0
|
分布式计算 资源调度 Java
使用Maven构建Hadoop工程并实现词频统计案例(详细篇)
使用Maven构建Hadoop工程并实现词频统计案例(详细篇)
219 0
使用Maven构建Hadoop工程并实现词频统计案例(详细篇)