IP 转换_环境准备 | 学习笔记

简介: 快速学习 IP 转换_环境准备

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第五阶段)IP 转换_环境准备】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/680/detail/11810


IP 转换_环境准备

 

环境准备

1、本课程进行具体的代码编写。第一步要拷贝数据集,接下来按照既定好的步骤一步一步实现。整体上的步骤第一步是创建 sparksession,第二步读取数据集,第三步处理 IP 数据,第四步进行数据落地。

image.png

2、第一步进的 files 目录当中,找到 pmt.json,拷贝这个主数据集以后,放到 IDEA 当中,这样第一步就完成了。下面应该继续创建环境,创建 sparksession 非常简单,拿到 spark 这样一个变量,使用 Sparksession.builder 创建 builder,接下来设置 appName,appName 叫做 pmt json etl,下一步设置 master,设置为 local【6】。接下来 getorCreate,现在是要做一个项目,就需要把配置文件加进来,刚才已经写过一个工具类了,在工具类当中,就有一个方法叫 load,但是这里没有显示,想使用演示转换是可以的,但是要先导入伴生对象,import cn. Itcast. utils.SparkConfigHelper.,

下面再去写 load,会发现 loadconfig,这是第一步要把 sparksession 创建出来。第二步就应该读取数据集,spark.read,read 可以直接设置 option,没有特别多的 option 需要设置,所以把他删掉,使用 json 读取配置文件,配置文件在 dataset 下叫做 pmt.json 文件里。这个时候拿到了 source,也可以叫 original,source 是代表数据源的数据,source.show。要确保每一步是没有问题的,只有确保每一步都没有问题,才能确保整体上是没有问题的。

import org. apache. spark. sql.SparkSession

object ETLRunner {

def main(args:Array[string]):Unit={

import cn. Itcast. utils.SparkConfigHelper.

//1.创建 SparkSession

val spark=SparkSession. builder()

.appName(·name="pmt json etl")

. master(master="local[6]")

.loadConfig()

·getOrCreate()

//2.读取数据集

val source=spark. read. json(path="dataset/pmt. json ")

source. show()

//3.数据操作

//对于不同的数据处理操作来说,需要把操作在这个位置调用//processor. Process

//4.数据落地

3、运行,整个数据集已经加载出来了,第一列是 adcreativeid,第二列是 adorderid,第三列是 adpayment,然后是 adplatformkey 等等,这些内容都已经加载出来,说明数据集的加载是没有问题的。

image.png

相关文章
|
6月前
ENSP Nat地址转换(配置命令 )
ENSP Nat地址转换(配置命令 )
187 1
|
6月前
|
存储 关系型数据库 MySQL
Python搭建代理IP池实现存储IP的方法
Python搭建代理IP池实现存储IP的方法
|
网络协议 中间件 物联网
网络基础学习:ip地址的知识
网络基础学习:ip地址的知识
152 0
|
6月前
|
缓存 负载均衡 安全
虚拟 IP 地址对于网络有什么用处?
随着互联网技术和科技的发展,在上网的时候使用代理ip的使用人数也越来越多,因为业务的需求需要使用http动态代理ip的应用范围越来越多,那么http代理ip组成成分有哪些?接下来小编就给大家介绍一下
276 0
虚拟 IP 地址对于网络有什么用处?
|
Python
【从零学习python 】69. 网络通信及IP地址分类解析
【从零学习python 】69. 网络通信及IP地址分类解析
124 2
|
Linux Python
【从零学习python 】71. 网络端口及其作用
【从零学习python 】71. 网络端口及其作用
83 0
|
存储 域名解析 缓存
2023-6-13-IP配置知识补充学习
2023-6-13-IP配置知识补充学习
201 0
|
缓存 开发者
IP 转换_GeoLite | 学习笔记
快速学习IP 转换_GeoLite
303 0
IP 转换_GeoLite | 学习笔记
|
Linux 编译器 开发工具
Linux网络环境配置:(内含:随机ip和固定ip设置方式)
Linux网络环境配置:(内含:随机ip和固定ip设置方式)
289 0
Linux网络环境配置:(内含:随机ip和固定ip设置方式)
|
缓存 分布式计算 关系型数据库
IP 转换_功能实现 | 学习笔记
快速学习IP 转换_功能实现
130 0
IP 转换_功能实现 | 学习笔记
下一篇
无影云桌面