工程搭建_创建|学习笔记

简介: 快速学习工程搭建_创建

开发者学堂课程【大数据 Spark2020版(知识精讲与实战演练)第四阶段工程搭建_创建】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/691/detail/12107


工程搭建_创建


在步骤中对流程进行更加详细的说明,要对整体步骤有一个更加直观的认识,知道是做什么,第一步读数据,第二步处理数据,第三步扩展行政区信息,第四步通过会话分析求的结果

在进行具体每一个步骤之前要创建工程,是当务之急

第一步 Create New Project

image.png

Next

image.png

创建工程后,做初始的任务

首先将对应的架包导入

将代码导入,等待加载

<?xml version="1.0"encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM /4.0.0"

xmlns :xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi :schemaLocation="http://maven.apache.org/POM/4.0.0

http://maven.apache.org/xsd/ maven-4.0.0.xsd">

<modelversion>4.0.0</modelVersion>

<groupId>cn.itcast</groupId>

<artifactId>taxi</artifactId>

<version>0.0.1</version>

<properties>

<scala.version>2.11.8</scala.version>

<spark.version>2.2.0</spark.version>

<hadoop.version>2.7.5</ hadoop.version>

<slf4j.version>1.7.16</slf4j.versiorE>

<log4j.version>1.2.17</log4j.version>

<mysql.version>5.1.35</mysql.version>

<esri.version>2.2.2</esri.version>

<json4s.version>3.6.6</json4s.version>

</properties>

<dependencies>

<!-- Scala库-->

<dependency>

<groupId>org.scala-lang</groupId>

<artifactId>scala-library</artifactId>

<version>${scala.version}</version>

</dependency>

<dependency>

<groupId>org.scala-lang.modules</groupId>

<artifactId>scala-xml_2.11</artifactId>

<version>1.0.6</version>

</dependency>

<!-- Spark系列包-->

<dependency>

<groupId>org.apache.spark</groupId

<artifactId>spark-core_2.11</artifactId>

<version>${spark.version}</version>

</dependency>

<dependency>

<groupId>org .apache.sparke/groupId>

<artifactId>spark-sql_2.11</artifactId>

<version>${spark.version}</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>${hadoop. version}</version>

</dependency>

<! --地理位置处理库-->

<dependency>

有一个 build 插件,需要创建一个新的 directory

<build>

<sourceDirectory>src/main/scala</sourceDirectory>

创建一个新的目录,目录作为源码目录

进入 src 下 main 下找到 main、new、Directory,命名为 scala

image.png

将 scala 标注为 Sources Root,工程创建完成

文件分为 properties 信息参数、dependencies 有几个不同类别的库,scala 支持库、spark 系列包、spark-core/spark-sql,使用 spark 需要将 Hadoop 写入,处理地理位置,导入 esri 库,导入 JSON 解析库,JSON 解析库实际是 jackson,使用 json4s API 分装,json4s 在 scala 中是一个常见的 API,日志相关工具以及插件,导入两个插件,第一个目的是指定,第二个插件打包 scala 代码

创建架包

image.png

命名为 cn.itcast.taxi

创建一个类

Scala class 定义为 TaxiProcessor

工程搭建完成

写一个 main 方法

package cn.itcast.taxi

class TaxiProcessor {

def main(args: Array[string]): unit = {

}

}

相关文章
|
21天前
|
XML Java 关系型数据库
SpringBootWebProject学习——通用项目搭建(后面的项目均采用此项目进行添加内容)
SpringBootWebProject学习——通用项目搭建(后面的项目均采用此项目进行添加内容)
14 0
|
11月前
|
监控 前端开发 测试技术
带你入门前端工程(四):测试(下)
带你入门前端工程(四):测试(下)
63 0
|
11月前
|
前端开发 JavaScript 测试技术
带你入门前端工程(四):测试(上)
带你入门前端工程(四):测试
95 0
|
存储 JSON 监控
1、工程搭建与配置
MongoDB是介于关系型和非关系型数据库之间的产品,nosql中最热门的数据库,存储数据是类似于JSON的bson格式的数据,可以存储复杂的数据类型,最大特点是它支持的查询语句非常强大
106 0
|
前端开发 JavaScript API
鸿蒙应用开发项目新建过程与hap包生成方法
今天主要和大家聊一聊,如何利用DevEco Studio创建工程项目,应用层的开发需要知道其中的配置方法。
733 0
鸿蒙应用开发项目新建过程与hap包生成方法
|
消息中间件 存储 Dubbo
项目工程初始化|学习笔记
快速学习项目工程初始化
80 0
项目工程初始化|学习笔记
|
JSON Java 关系型数据库
MyCat - 环境搭建 - 基础工程搭建 | 学习笔记
快速学习 MyCat - 环境搭建 - 基础工程搭建
71 0
MyCat - 环境搭建 - 基础工程搭建 | 学习笔记
|
Java 应用服务中间件 开发者
创建 JavaWeb 项目 | 学习笔记
快速学习创建 JavaWeb 项目,介绍了创建 JavaWeb 项目系统机制, 以及在实际应用过程中如何使用。
143 0
创建 JavaWeb 项目 | 学习笔记
|
Java Maven 开发者
搭建项目环境(创建工程) | 学习笔记
快速学习搭建项目环境(创建工程)
86 0
|
存储 JavaScript 前端开发
项目总结(项目描述) | 学习笔记
快速学习 项目总结(项目描述)
138 0

热门文章

最新文章

  • 1
    流量控制系统,用正则表达式提取汉字
    25
  • 2
    Redis09-----List类型,有序,元素可以重复,插入和删除快,查询速度一般,一般保存一些有顺序的数据,如朋友圈点赞列表,评论列表等,LPUSH user 1 2 3可以一个一个推
    26
  • 3
    Redis08命令-Hash类型,也叫散列,其中value是一个无序字典,类似于java的HashMap结构,Hash结构可以将对象中的每个字段独立存储,可以针对每字段做CRUD
    26
  • 4
    Redis07命令-String类型字符串,不管是哪种格式,底层都是字节数组形式存储的,最大空间不超过512m,SET添加,MSET批量添加,INCRBY age 2可以,MSET,INCRSETEX
    27
  • 5
    S外部函数可以访问函数内部的变量的闭包-闭包最简单的用不了,闭包是内层函数+外层函数的变量,简称为函数套函数,外部函数可以访问函数内部的变量,存在函数套函数
    24
  • 6
    Redis06-Redis常用的命令,模糊的搜索查询往往会对服务器产生很大的压力,MSET k1 v1 k2 v2 k3 v3 添加,DEL是删除的意思,EXISTS age 可以用来查询是否有存在1
    30
  • 7
    Redis05数据结构介绍,数据结构介绍,官方网站中看到
    22
  • 8
    JS字符串数据类型转换,字符串如何转成变量,+号只要有一个是字符串,就会把另外一个转成字符串,- * / 都会把数据转成数字类型,数字型控制台是蓝色,字符型控制台是黑色,
    20
  • 9
    JS数组操作---删除,arr.pop()方法从数组中删除最后一个元素,并返回该元素的值,arr.shift() 删除第一个值,arr.splice()方法,删除指定元素,arr.splice,从第一
    20
  • 10
    定义好变量,${age}模版字符串,对象可以放null,检验数据类型console.log(typeof str)
    19