开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 案例-创建工程】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/692/detail/12131
Sparkstreaming 案例-创建工程
内容介绍
一、Sparkstreaming 案例大致流程
二、创建工程
一、Sparkstreaming 案例大致流程
首先创建一个 socket server,将数据进行处理放入 Spark Streaming,将处理完的数据放入外部存储当中,运用 net cat 创建 Socket,之后创建工程 编写Sparkstreaming 编码完成后,运行
二、创建工程
打开 idea
进入编写界面
Group cn.itcast
Artifactld st/eaming
version 0.1.0
点击 next,目录选择以往的扣本目录下,创建目录,进行导入,加入依赖
<dependencies>
<dependency>
<groupid>org-scala lang </groupid>
<artifactid>scala -library< /artfactid
版本选择 <version>2.11.8 <version>
<dependency>
<dependency>
<groupid>org-apace.spark </groupid>
第一个包<artifactid>spark-core-2.11< /artfactid
第二个包<version>2.2.0<version>
<dependency>
<groupid>org-apache.spark </groupid>
<artifactid>spark-core2.11< /artfactid
<version>2.11.0 <version>
三个包已经导入完成,继续导入
<dependency>
<groupid>org-slf4 </groupid>
<artifactid>slf4 -simple< /artfactid
<version>1.7.12<version>
<dependency>
<dependency>
<groupid>junit </groupid>
<artifactid>junit< /artfactid
导入 junit 后,选择版本
<version>4.12<version>
<scope>provided<scope>
<dependency>
<dependencies>
<build>
标签
<sourcedirectory> src /main/ scala
指定新的 sourcedirectory 目录
<sourcedirectory>
<testsourcedirectory>src/test/scala<testsourcedirectory>
<build>
<pliugin>
<groupid>net alchim31 .maven <groupid>
<galos>
<goal>complice<goal>
<goal>testcomplice<goal>
<configuration>
<execution>
<plugin>
<plugins>
<galos>
<build>
<pliugin>
</project>
导入完成,完成后,创建目录
<testsourcedirectory>src/test/scala<testsourcedirectory>
在 text 下属,创建 java 和 scaia
准备工作即可完成