统一识别_完成| 学习笔记

简介: 快速学习统一识别_完成

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段)统一识别_完成】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/682/detail/11842


统一识别_完成

agg 的结果再进行转换,转换成我们需要的形式

// 3. 聚合

// 结果集格式:mainId, tagsString

把对应的内容先生成出来,先把类创建出来

case class Tags(mainId: String, tags: String)

//这个类命名为 TagsTags 首先接收一个 id, 这个id 对应的是 String

Id改名为 mainId,后面还要再跟上 tags,这个 tags 也是一个 String,这样的话 Tags 对象就生成了。

val grouped = components.groupByKey(component => component.component)  

val aggDataset[(Long,= VertexComponent)] = grouped.reduceGroups(reduceVertex_)

val result = agg.map(mapTags)

Result.show()

(先创建一个方法出来,这个方法命名为 mapTags)

def mapTags(VertexComponent(Long,VertexComponent)):Tags = {

val mainId = getMainId(vertexComponent._2.ids)

// tag1:1, tag2:1, tag3:1

val tags = VertexComponent._2.tags

.map(item => item._ 1 + ”:”+ item._2)

.mkString(“,”)

Tags(mainId, tags)

}

//Tags 对象创建好后,把 Dataset 转换为 DatasetTags, 先拿到agg.map; mapTags里接收Long,= VertexComponent),转换成 Tags 对象,把mapTags放到agg.map 当中,此时最终结果集就产生了,产生 result 后,直接来进行打印,但方法还没有写完,这个方法最重要产生一个 Tags 对象,

第一个对象为 mainId,第二个为 Tags,两个都要进行处理,首先第一个对象为 mainId ,获取 getMainId 后通过  VertexComponent 其中的第二项数据拿到一个 ids ,这样一个 map,把这个map 传进去就有了 mainId

第二个对象为 tags, 这个 tags VertexComponent 当中的 tags 来进行相应的合并,拿到 VertexComponent._2.tags, tags 拼成tag1:1, tag2:1, tag3:1的格式,这个 tags 是一个 Map,里面是String 对应的 Int,这个 String 对应的就是标签,这个 Int 对应的就是标签的权重;这样的话应先对其进行 map, map 拿到一个 item,item 是一个元组,第一项拼上第二项,为item._ 1 + ”:”+ item._2,拼好后, 再进行转换为字符串,使用mkString(“,”)按照逗号来分割进行相应的生成,此时 maptags 写完,

回到最上面点击运行,

2022-11-22 (25).png

此时运行结果出来了,计算的过程是比较慢的,数据没有问题,最终结果也求到了,没有地方是重复的。

相关文章
|
3月前
|
存储 API 开发工具
视觉智能开放平台产品使用合集之传入接口需要什么格式才能进行检测识别
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
6月前
|
开发者 Python
micawber,解析和嵌入媒体资源工具
micawber,解析和嵌入媒体资源工具
61 1
|
6月前
|
机器学习/深度学习 API 计算机视觉
视觉智能平台常见问题之用到人脸1:1加上活体需要单独收费如何解决
视觉智能平台是利用机器学习和图像处理技术,提供图像识别、视频分析等智能视觉服务的平台;本合集针对该平台在使用中遇到的常见问题进行了收集和解答,以帮助开发者和企业用户在整合和部署视觉智能解决方案时,能够更快地定位问题并找到有效的解决策略。
|
6月前
视觉智能平台上的通用视频人脸融合功能,在版权和归属方面的考量相对复杂
视觉智能平台上的通用视频人脸融合功能,在版权和归属方面的考量相对复杂
63 8
|
6月前
|
算法 API 对象存储
视觉智能平台菜品识别要怎么做对比库呀?
视觉智能平台菜品识别要怎么做对比库呀?
103 1
实用分享-在线公式编辑器(可导图识别)
实用分享-在线公式编辑器(可导图识别)
|
安全 API 数据安全/隐私保护
考勤系统的最佳实践 - 静态活体检测 API 技术
静态活体检测(Static Liveness Detection)API 是一种基于人脸识别技术,用于判断面部图像或视频是否为真实人脸的 API 接口。它基于图片中人像的破绽(摩尔纹、成像畸形等),判断目标是否为活体,有效防止屏幕二次翻拍等作弊攻击,它广泛应用于门禁、考勤、电子签名等场景中,以确保安全的身份验证和授权过程。
182 0
|
XML 机器学习/深度学习 数据采集
构建自动车牌识别系统
构建自动车牌识别系统
269 0
构建自动车牌识别系统
|
图计算 开发者 iOS开发
统一识别-标签聚合| 学习笔记
快速学习统一识别-标签聚合
统一识别-标签聚合| 学习笔记
|
Java API 图计算
统一识别_图计算| 学习笔记
快速学习统一识别_图计算
统一识别_图计算| 学习笔记
下一篇
无影云桌面