统一识别_定义类型| 学习笔记

简介: 快速学习统一识别_定义类型

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段)统一识别_定义类型】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/682/detail/11839


统一识别_定义类型

了解完图集运算,回到数据集中,做统一用户识别的任务

// (4)统一用户识别

// 需求:有些数据中,有 uuid, 有一些有 mac, 有一些有udid

在数据集中有很多标注ID的东西,假如有个问题,一个用户,

// 场景:拿着手机移动,上午在家里,下午在教室,晚上在宿舍(ip

地址不一样,但 mac 地址一样)

// 情况:用户1,在一个时间点上,汇报了 mac, udid, 另外一个

时间点汇报了 mac, uuid,构建连通图

// 环境:先创建 Vertex, Edge

}

/**...*/

def createTags(row: Row): IdsWithTags = {...}

def genIdMap(row: Row): Map[String, String] = {...}

def getMainId(ids: Map[String, String]): String = {...}

def toGeoHash(longitude: Double, latitude: Double): String

= {...}

}

case class IdsWithTags(mainId: String, ids: Map[String,

String], tags: Map[String, Int])

(定义两个新的 case class)

Case class Vertex(id: String, ids: Map[String, String], tags: Map[String,Int])

// 任何一个顶点都需要 id, String 类型,进行图计算以后还需要再合并数据,整个的 id 列表 ids,对应的是 Map,里面存放[String, String],标签也要合并,此时生成对应的 tags,也是一个 Map,里面为[String,Int]

Case class Edge(src: String, dst: String)

// Edge 中接收一些参数,边“Edge”要表达不同顶点之间的关系,所以必须有两个字段,分别为 src dst,都保持和 id 一样的类型为 Stringsrc 代表这个边的一个顶点的 iddst 代表另一个顶点的 id

相关文章
|
4天前
|
人工智能 运维 安全
|
2天前
|
人工智能 异构计算
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
敬请锁定《C位面对面》,洞察通用计算如何在AI时代持续赋能企业创新,助力业务发展!
|
9天前
|
人工智能 JavaScript 测试技术
Qwen3-Coder入门教程|10分钟搞定安装配置
Qwen3-Coder 挑战赛简介:无论你是编程小白还是办公达人,都能通过本教程快速上手 Qwen-Code CLI,利用 AI 轻松实现代码编写、文档处理等任务。内容涵盖 API 配置、CLI 安装及多种实用案例,助你提升效率,体验智能编码的乐趣。
814 109
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
B站开源IndexTTS2,用极致表现力颠覆听觉体验
在语音合成技术不断演进的背景下,早期版本的IndexTTS虽然在多场景应用中展现出良好的表现,但在情感表达的细腻度与时长控制的精准性方面仍存在提升空间。为了解决这些问题,并进一步推动零样本语音合成在实际场景中的落地能力,B站语音团队对模型架构与训练策略进行了深度优化,推出了全新一代语音合成模型——IndexTTS2 。
410 9
|
3天前
|
人工智能 测试技术 API
智能体(AI Agent)搭建全攻略:从概念到实践的终极指南
在人工智能浪潮中,智能体(AI Agent)正成为变革性技术。它们具备自主决策、环境感知、任务执行等能力,广泛应用于日常任务与商业流程。本文详解智能体概念、架构及七步搭建指南,助你打造专属智能体,迎接智能自动化新时代。
|
4天前
|
机器学习/深度学习 传感器 算法
Edge Impulse:面向微型机器学习的MLOps平台——论文解读
Edge Impulse 是一个面向微型机器学习(TinyML)的云端MLOps平台,致力于解决嵌入式与边缘设备上机器学习开发的碎片化与异构性难题。它提供端到端工具链,涵盖数据采集、信号处理、模型训练、优化压缩及部署全流程,支持资源受限设备的高效AI实现。平台集成AutoML、量化压缩与跨硬件编译技术,显著提升开发效率与模型性能,广泛应用于物联网、可穿戴设备与边缘智能场景。
185 127