开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第五阶段): IP 转换_环境准备】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/680/detail/11810
IP 转换_环境准备
环境准备
1、本课程进行具体的代码编写。第一步要拷贝数据集,接下来按照既定好的步骤一步一步实现。整体上的步骤第一步是创建 sparksession,第二步读取数据集,第三步处理 IP 数据,第四步进行数据落地。
2、第一步进的 files 目录当中,找到 pmt.json,拷贝这个主数据集以后,放到 IDEA 当中,这样第一步就完成了。下面应该继续创建环境,创建 sparksession 非常简单,拿到 spark 这样一个变量,使用 Sparksession.builder 创建 builder,接下来设置 appName,appName 叫做 pmt json etl,下一步设置 master,设置为 local【6】。接下来 getorCreate,现在是要做一个项目,就需要把配置文件加进来,刚才已经写过一个工具类了,在工具类当中,就有一个方法叫 load,但是这里没有显示,想使用演示转换是可以的,但是要先导入伴生对象,import cn. Itcast. utils.SparkConfigHelper.,
下面再去写 load,会发现 loadconfig,这是第一步要把 sparksession 创建出来。第二步就应该读取数据集,spark.read,read 可以直接设置 option,没有特别多的 option 需要设置,所以把他删掉,使用 json 读取配置文件,配置文件在 dataset 下叫做 pmt.json 文件里。这个时候拿到了 source,也可以叫 original,source 是代表数据源的数据,source.show。要确保每一步是没有问题的,只有确保每一步都没有问题,才能确保整体上是没有问题的。
import org. apache. spark. sql.SparkSession
object ETLRunner {
def main(args:Array[string]):Unit={
import cn. Itcast. utils.SparkConfigHelper.
//1.创建 SparkSession
val spark=SparkSession. builder()
.appName(·name="pmt json etl")
. master(master="local[6]")
.loadConfig()
·getOrCreate()
//2.读取数据集
val source=spark. read. json(path="dataset/pmt. json ")
source. show()
//3.数据操作
//对于不同的数据处理操作来说,需要把操作在这个位置调用//processor. Process
//4.数据落地
3、运行,整个数据集已经加载出来了,第一列是 adcreativeid,第二列是 adorderid,第三列是 adpayment,然后是 adplatformkey 等等,这些内容都已经加载出来,说明数据集的加载是没有问题的。