框架搭建_Kudu工具类_隐式转换|学习笔记

简介: 快速学习框架搭建_Kudu工具类_隐式转换

开发者学堂课程【2020版大数据实战项目之DMP广告系统(第四阶段)框架搭建_Kudu工具类_隐式转换】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/679/detail/11803


框架搭建_Kudu工具类_隐式转换


内容介绍:

一、编写工具类

二、结构搭建


一、编写工具类

已经对数据库读写工具类的整体思路进行了简单的陈述那接下来就要编写工具类。整体上的步骤还是两大步。先进入 idea 当中,把对应的类创建出来。先创建 scala ,叫做 kudu helper ,添加一个 object ,也叫 kudu helper 。是一个伴生对象,整体思路就是进行隐式转换的开发,我们的目的是把 spart 转成 kudu helper 的对象。接下来把 data frame 转为 kudu helper 对象,因为 data frame 当中,可以取到 spark session ,可以直接让 spark session 的功能, frame 也可以有,因为 data frame 当中可以拿到 spark session 。第三个功能把 date from 写为表,写入数据,这是三大功能。第一个视频先对整体结构进行搭建,第二个视频再去填具体的功能。

Import org.apache.spark.sql.{datafram,sparksession}

Class kuduhelper{

Def this(spark:sparksession)={

This()

}

Def this(dateest:dateset[any])={

This(dateset.sparksession)

}

//一:隐式转换,sparksession->kuduhelper dataframe->kuduhelper

/**

*设计隐式转换的时候,只需要考虑一件事,把 xx 转为 yy

*xx 是 sparksession ,转换函数的传入参数就是 sparksession

*yy 是 kuduhelper , 转换给函数的结果类型应该就是 kuduhelper

*/

Implicit def sparksessionToKuduHelper(spark:sparksession):kuduhelper={

New kuduhelper(speak)

}

Implicit def dataFrameToKudu(dataFrame:dataframe):kuduhelper{

New kuduhelper(dateset)

}

//二:具体功能的开发

//1.创建表

//2.读取表

第二步,进行具体功能的开发,第一个功能,创建表。第二个功能,读取表。

//3.写入数据

}

Object kuduhelper{


二、结构搭建

第一个隐式转换,提供 spark session 转为 kudu helper , date frame 转为 kudu helper ,那么应该写两个 implicit ,第一个定义为 spartsession ,然后 spartsession to kuDu helpe,在设计隐式转换的时候,只需要考虑一件事,就是把 xx 转为 YY , xx 是 spark session 。如果 xx 是 spark session ,解决方法也是转换函数,传入参数。 Xx 是 spark session , YY 是 kuduhelper 。如果 YY 是 kuduhelper ,转换函数的传出参数,也就是结果参数函数的结果类型就是 kutuhelper 。首先参数是 spark 。把 spark session 转为 kudu helper 类型对象。方法就完成了,要创建出来 kudu helper ,第一个是 implicit spartsession to kudu ,然后 Implicit def sparksessionToKuduHelper ,传入参数,把 data frame 转为 kudu helper ,接收 data frame 对应的类型,也是 data frame 那么第二个隐式转换也完成了。\但是如果只是 date frame 还不够,因为 data frame 其实就是 data set ,所以可以接收 data set 。接收 data set 以后,必须需要去给它标注一个东西,把 data frame 去掉,报错的原因,是因为必须要把 any 型写上去,可以传案例,这个案例就表示任何的 set 其实都可以。

继续看就有两件事了,第一件事,把 spark session 转为 kudu helper ,第二件事,把 dataset 转为 kudu helper, kuduhelper 当中,应该提供两个构造函数,一个是接收 spark session 去创建的,还有一个是接收 data set 创建的,可以 def 两个 this ,第一个 this ,接收 spark session 。第二个 this 接收 data set 。构造函数创建出来。接下来在每一个里,都要调用一下最根部的构造。接下来也要调用一下 spark session 的构造。拿到 data set 中的 spark session ,把它传进去,其实调用的是前面 spark session 构造。两个构造写完 new  kudu helper ,接收 spark session ,第二个 kudu helper 当中接收 data set 。这时整个代码就写完了。接下来进行具体功能的开发。

相关文章
|
4天前
|
弹性计算 人工智能 安全
云上十五年——「弹性计算十五周年」系列客户故事(第二期)
阿里云弹性计算十五年深耕,以第九代ECS g9i实例引领算力革新。携手海尔三翼鸟、小鹏汽车、微帧科技等企业,实现性能跃升与成本优化,赋能AI、物联网、智能驾驶等前沿场景,共绘云端增长新图景。
|
9天前
|
存储 弹性计算 人工智能
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
2025年9月24日,阿里云弹性计算团队多位产品、技术专家及服务器团队技术专家共同在【2025云栖大会】现场带来了《通用计算产品发布与行业实践》的专场论坛,本论坛聚焦弹性计算多款通用算力产品发布。同时,ECS云服务器安全能力、资源售卖模式、计算AI助手等用户体验关键环节也宣布升级,让用云更简单、更智能。海尔三翼鸟云服务负责人刘建锋先生作为特邀嘉宾,莅临现场分享了关于阿里云ECS g9i推动AIoT平台的场景落地实践。
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
|
8天前
|
人工智能 自然语言处理 自动驾驶
关于举办首届全国大学生“启真问智”人工智能模型&智能体大赛决赛的通知
关于举办首届全国大学生“启真问智”人工智能模型&智能体大赛决赛的通知
|
8天前
|
云安全 人工智能 自然语言处理
阿里云x硅基流动:AI安全护栏助力构建可信模型生态
阿里云AI安全护栏:大模型的“智能过滤系统”。
|
9天前
|
编解码 自然语言处理 文字识别
Qwen3-VL再添丁!4B/8B Dense模型开源,更轻量,仍强大
凌晨,Qwen3-VL系列再添新成员——Dense架构的Qwen3-VL-8B、Qwen3-VL-4B 模型,本地部署友好,并完整保留了Qwen3-VL的全部表现,评测指标表现优秀。
670 7
Qwen3-VL再添丁!4B/8B Dense模型开源,更轻量,仍强大
|
4天前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
438 14
|
11天前
|
存储 机器学习/深度学习 人工智能
大模型微调技术:LoRA原理与实践
本文深入解析大语言模型微调中的关键技术——低秩自适应(LoRA)。通过分析全参数微调的计算瓶颈,详细阐述LoRA的数学原理、实现机制和优势特点。文章包含完整的PyTorch实现代码、性能对比实验以及实际应用场景,为开发者提供高效微调大模型的实践指南。
793 2
|
2天前
|
编解码 文字识别 算法
一张图能装下“千言万语”?DeepSeek-OCR 用视觉压缩长文本,效率提升10倍!
一张图能装下“千言万语”?DeepSeek-OCR 用视觉压缩长文本,效率提升10倍!
347 10