框架搭建_Kudu工具类_隐式转换|学习笔记

简介: 快速学习框架搭建_Kudu工具类_隐式转换

开发者学堂课程【2020版大数据实战项目之DMP广告系统(第四阶段)框架搭建_Kudu工具类_隐式转换】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/679/detail/11803


框架搭建_Kudu工具类_隐式转换


内容介绍:

一、编写工具类

二、结构搭建


一、编写工具类

已经对数据库读写工具类的整体思路进行了简单的陈述那接下来就要编写工具类。整体上的步骤还是两大步。先进入 idea 当中,把对应的类创建出来。先创建 scala ,叫做 kudu helper ,添加一个 object ,也叫 kudu helper 。是一个伴生对象,整体思路就是进行隐式转换的开发,我们的目的是把 spart 转成 kudu helper 的对象。接下来把 data frame 转为 kudu helper 对象,因为 data frame 当中,可以取到 spark session ,可以直接让 spark session 的功能, frame 也可以有,因为 data frame 当中可以拿到 spark session 。第三个功能把 date from 写为表,写入数据,这是三大功能。第一个视频先对整体结构进行搭建,第二个视频再去填具体的功能。

Import org.apache.spark.sql.{datafram,sparksession}

Class kuduhelper{

Def this(spark:sparksession)={

This()

}

Def this(dateest:dateset[any])={

This(dateset.sparksession)

}

//一:隐式转换,sparksession->kuduhelper dataframe->kuduhelper

/**

*设计隐式转换的时候,只需要考虑一件事,把 xx 转为 yy

*xx 是 sparksession ,转换函数的传入参数就是 sparksession

*yy 是 kuduhelper , 转换给函数的结果类型应该就是 kuduhelper

*/

Implicit def sparksessionToKuduHelper(spark:sparksession):kuduhelper={

New kuduhelper(speak)

}

Implicit def dataFrameToKudu(dataFrame:dataframe):kuduhelper{

New kuduhelper(dateset)

}

//二:具体功能的开发

//1.创建表

//2.读取表

第二步,进行具体功能的开发,第一个功能,创建表。第二个功能,读取表。

//3.写入数据

}

Object kuduhelper{


二、结构搭建

第一个隐式转换,提供 spark session 转为 kudu helper , date frame 转为 kudu helper ,那么应该写两个 implicit ,第一个定义为 spartsession ,然后 spartsession to kuDu helpe,在设计隐式转换的时候,只需要考虑一件事,就是把 xx 转为 YY , xx 是 spark session 。如果 xx 是 spark session ,解决方法也是转换函数,传入参数。 Xx 是 spark session , YY 是 kuduhelper 。如果 YY 是 kuduhelper ,转换函数的传出参数,也就是结果参数函数的结果类型就是 kutuhelper 。首先参数是 spark 。把 spark session 转为 kudu helper 类型对象。方法就完成了,要创建出来 kudu helper ,第一个是 implicit spartsession to kudu ,然后 Implicit def sparksessionToKuduHelper ,传入参数,把 data frame 转为 kudu helper ,接收 data frame 对应的类型,也是 data frame 那么第二个隐式转换也完成了。\但是如果只是 date frame 还不够,因为 data frame 其实就是 data set ,所以可以接收 data set 。接收 data set 以后,必须需要去给它标注一个东西,把 data frame 去掉,报错的原因,是因为必须要把 any 型写上去,可以传案例,这个案例就表示任何的 set 其实都可以。

继续看就有两件事了,第一件事,把 spark session 转为 kudu helper ,第二件事,把 dataset 转为 kudu helper, kuduhelper 当中,应该提供两个构造函数,一个是接收 spark session 去创建的,还有一个是接收 data set 创建的,可以 def 两个 this ,第一个 this ,接收 spark session 。第二个 this 接收 data set 。构造函数创建出来。接下来在每一个里,都要调用一下最根部的构造。接下来也要调用一下 spark session 的构造。拿到 data set 中的 spark session ,把它传进去,其实调用的是前面 spark session 构造。两个构造写完 new  kudu helper ,接收 spark session ,第二个 kudu helper 当中接收 data set 。这时整个代码就写完了。接下来进行具体功能的开发。

相关文章
|
6天前
|
云安全 人工智能 自然语言处理
|
10天前
|
人工智能 Java API
Java 正式进入 Agentic AI 时代:Spring AI Alibaba 1.1 发布背后的技术演进
Spring AI Alibaba 1.1 正式发布,提供极简方式构建企业级AI智能体。基于ReactAgent核心,支持多智能体协作、上下文工程与生产级管控,助力开发者快速打造可靠、可扩展的智能应用。
917 32
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
544 4
|
7天前
|
机器学习/深度学习 人工智能 数据可视化
1秒生图!6B参数如何“以小博大”生成超真实图像?
Z-Image是6B参数开源图像生成模型,仅需16GB显存即可生成媲美百亿级模型的超真实图像,支持中英双语文本渲染与智能编辑,登顶Hugging Face趋势榜,首日下载破50万。
456 23
|
13天前
|
数据采集 人工智能 自然语言处理
Meta SAM3开源:让图像分割,听懂你的话
Meta发布并开源SAM 3,首个支持文本或视觉提示的统一图像视频分割模型,可精准分割“红色条纹伞”等开放词汇概念,覆盖400万独特概念,性能达人类水平75%–80%,推动视觉分割新突破。
838 59
Meta SAM3开源:让图像分割,听懂你的话
|
3天前
|
弹性计算 网络协议 Linux
阿里云ECS云服务器详细新手购买流程步骤(图文详解)
新手怎么购买阿里云服务器ECS?今天出一期阿里云服务器ECS自定义购买流程:图文全解析,阿里云服务器ECS购买流程图解,自定义购买ECS的设置选项是最复杂的,以自定义购买云服务器ECS为例,包括付费类型、地域、网络及可用区、实例、镜像、系统盘、数据盘、公网IP、安全组及登录凭证详细设置教程:
189 114
|
10天前
|
人工智能 前端开发 算法
大厂CIO独家分享:AI如何重塑开发者未来十年
在 AI 时代,若你还在紧盯代码量、执着于全栈工程师的招聘,或者仅凭技术贡献率来评判价值,执着于业务提效的比例而忽略产研价值,你很可能已经被所谓的“常识”困住了脚步。
512 45
大厂CIO独家分享:AI如何重塑开发者未来十年
|
6天前
|
存储 自然语言处理 测试技术
一行代码,让 Elasticsearch 集群瞬间雪崩——5000W 数据压测下的性能避坑全攻略
本文深入剖析 Elasticsearch 中模糊查询的三大陷阱及性能优化方案。通过5000 万级数据量下做了高压测试,用真实数据复刻事故现场,助力开发者规避“查询雪崩”,为您的业务保驾护航。
347 22