统一识别_完成| 学习笔记

简介: 快速学习统一识别_完成

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段)统一识别_完成】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/682/detail/11842


统一识别_完成

agg 的结果再进行转换,转换成我们需要的形式

// 3. 聚合

// 结果集格式:mainId, tagsString

把对应的内容先生成出来,先把类创建出来

case class Tags(mainId: String, tags: String)

//这个类命名为 TagsTags 首先接收一个 id, 这个id 对应的是 String

Id改名为 mainId,后面还要再跟上 tags,这个 tags 也是一个 String,这样的话 Tags 对象就生成了。

val grouped = components.groupByKey(component => component.component)  

val aggDataset[(Long,= VertexComponent)] = grouped.reduceGroups(reduceVertex_)

val result = agg.map(mapTags)

Result.show()

(先创建一个方法出来,这个方法命名为 mapTags)

def mapTags(VertexComponent(Long,VertexComponent)):Tags = {

val mainId = getMainId(vertexComponent._2.ids)

// tag1:1, tag2:1, tag3:1

val tags = VertexComponent._2.tags

.map(item => item._ 1 + ”:”+ item._2)

.mkString(“,”)

Tags(mainId, tags)

}

//Tags 对象创建好后,把 Dataset 转换为 DatasetTags, 先拿到agg.map; mapTags里接收Long,= VertexComponent),转换成 Tags 对象,把mapTags放到agg.map 当中,此时最终结果集就产生了,产生 result 后,直接来进行打印,但方法还没有写完,这个方法最重要产生一个 Tags 对象,

第一个对象为 mainId,第二个为 Tags,两个都要进行处理,首先第一个对象为 mainId ,获取 getMainId 后通过  VertexComponent 其中的第二项数据拿到一个 ids ,这样一个 map,把这个map 传进去就有了 mainId

第二个对象为 tags, 这个 tags VertexComponent 当中的 tags 来进行相应的合并,拿到 VertexComponent._2.tags, tags 拼成tag1:1, tag2:1, tag3:1的格式,这个 tags 是一个 Map,里面是String 对应的 Int,这个 String 对应的就是标签,这个 Int 对应的就是标签的权重;这样的话应先对其进行 map, map 拿到一个 item,item 是一个元组,第一项拼上第二项,为item._ 1 + ”:”+ item._2,拼好后, 再进行转换为字符串,使用mkString(“,”)按照逗号来分割进行相应的生成,此时 maptags 写完,

回到最上面点击运行,

2022-11-22 (25).png

此时运行结果出来了,计算的过程是比较慢的,数据没有问题,最终结果也求到了,没有地方是重复的。

相关文章
|
5天前
|
人工智能 运维 安全
|
3天前
|
人工智能 异构计算
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
B站开源IndexTTS2,用极致表现力颠覆听觉体验
在语音合成技术不断演进的背景下,早期版本的IndexTTS虽然在多场景应用中展现出良好的表现,但在情感表达的细腻度与时长控制的精准性方面仍存在提升空间。为了解决这些问题,并进一步推动零样本语音合成在实际场景中的落地能力,B站语音团队对模型架构与训练策略进行了深度优化,推出了全新一代语音合成模型——IndexTTS2 。
491 14
|
11天前
|
人工智能 JavaScript 测试技术
Qwen3-Coder入门教程|10分钟搞定安装配置
Qwen3-Coder 挑战赛简介:无论你是编程小白还是办公达人,都能通过本教程快速上手 Qwen-Code CLI,利用 AI 轻松实现代码编写、文档处理等任务。内容涵盖 API 配置、CLI 安装及多种实用案例,助你提升效率,体验智能编码的乐趣。
862 109
|
4天前
|
人工智能 测试技术 API
智能体(AI Agent)搭建全攻略:从概念到实践的终极指南
在人工智能浪潮中,智能体(AI Agent)正成为变革性技术。它们具备自主决策、环境感知、任务执行等能力,广泛应用于日常任务与商业流程。本文详解智能体概念、架构及七步搭建指南,助你打造专属智能体,迎接智能自动化新时代。