用户画像系列——数据中台之OneID (ID-Mapping)核心架构设计

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 用户画像系列——数据中台之OneID (ID-Mapping)核心架构设计

一.引言

大家在上网的过程中是不是经常有这样的体验,我在百度(或者京东、淘宝)上搜索一件商品(比如说:我搜索了一台iphone 手机看了看,但是没买),奇怪的是过两天,我竟然在某视频平台或者某网页上又看到了它?

而且更加奇怪的是,我明明是在电脑pc 端搜索的手机,但是我在手机上看电影的时候却能看到它,是不是也太奇怪了。

难道我的电脑、我的手机、我的ipad 等等电子设备都被监控了吗?

二、背景

《阿里巴巴大数据之路》中有讲到关于数据中台OneData 的方法论,其中分别涉及到OneModel、OneService、OneID。OneService 在之前的文章中已经有过分享,参考:

引言中所提到的小故事其实就是本文着重要分享的关于OneID 的部分

三、概念介绍

OneID是指同一用户、同一设备的一个唯一ID。

例子一:我用我自己的电脑搜索小米11,我又用这台电脑浏览其他网站,然后这个网站给我弹小米11的广告,对,也许你认为这种都是同一台电脑,非常简单,只需要根据ip等相关信息进行匹配就可以了。

例子二: 我用我自己的电脑搜索小米11,然后用自己的苹果手机,去浏览其他网站,然后其他网站又给我弹了小米11的广告,这怎么识别的呀?

我们认为这台电脑、这部手机、以及其他的电子设备是可以构成一个唯一的ID,即:OneID

但是你一定会问了,那他们是怎么关联上的呢?而不会关联错呢?比如说没有把我在电脑上搜索的小米11,推到我的手机上,而不是推到我女朋友的手机上

这个映射的过程,称之为:ID-Mapping

四、核心架构设计

1.业务逻辑

当使用安卓手机安装app,启动时会上报 IMEI,Mac地址 ,AndroidID,手机型号等设备信息

同理ios 会上报相关启动信息 idfa,手机设备等信息;pc 浏览器端会上报 cookie、浏览器相关信息。

但是每一次上报的信息不一定完全相同,比如说手机权限问题,浏览器cookie 清空等问题。

LocalID:app 启动会根据AndroidID生成本地id(不需要连网),记录为本地ID

OneID:app 联网上报的设备相关信息,用来打通多个app以及多端应用的唯一ID

OneID的作用:

(1)打通手机上多个app,比如说:淘宝、支付宝、高德等等是同一个用户(未登录时,登录时用账号id)

(2)打通多端应用,比如说你在手机端看剧,然后pc web 端能知道还是同一用户(解决账号共享无法定位同一用户的问题)

2.生成流程解析

(1)HBase数据表结构设计

安卓端表映射表结构(android_id_mapping),其他端类似:

OneID   imei  mac_adress    android_id      oaid

本地id 和 OneId映射表结构(local_id_mapping):

LocalID   OneID

(2)为了应对高并发场景,将HBase 提前预热至Redis 缓存,redis 表设计

imei_value                 oneid1,oneid2...

mac_address_value  oneid1,oneid2...

(3)ID-Mapping 映射流程

票选服务:

根据客户端上报的参数信息去redis 里面匹配OneID,核心权重设置

五、总结

最后来回答下开头提出的两个问题

问题一:我在百度(或者京东、淘宝)上搜索一件商品(比如说:我搜索了一台iphone 手机看了看,但是没买),奇怪的是过两天,我竟然在某视频平台或者某网页上又看到了它?

在视频平台看视频的时候,获取到浏览器的cookie等相关信息,通过调用百度的服务去匹配同一个设备的最新的搜索数据,然后进行广告投放,做到千人千面

问题二:而且更加奇怪的是,我明明是在电脑pc 端搜索的手机,但是我在手机上看电影的时候却能看到它,是不是也太奇怪了。

手机端装了看电影的app,同时我在pc web 端之前也看在该网站有观影信息,结合账号信息+设备信息+观影信息,生成一个OneID,打通该视频网站,所有端的数据。

后续我在pc web 看电影取获取当前唯一id的所有端的信息,然后调用京东或者淘宝的广告服务,进行投放。


相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
存储 数据采集 SQL
详解数据中台的底层架构逻辑
详解数据中台的底层架构逻辑
1200 0
详解数据中台的底层架构逻辑
|
存储 数据采集 监控
架构篇:智能数据构建及管理平台Dataphin | 《零售数据中台通关指南》
本篇介绍了平台化交付关键要素以及数据治理和统一公共层建设。
架构篇:智能数据构建及管理平台Dataphin | 《零售数据中台通关指南》
|
数据采集 存储 SQL
数据中台全景架构及模块解析!一文入门中台架构师!
数据中台全景架构及模块解析!包括数据采集、数据存储、数据开发处理、数据资产管理、数据质量和安全、数据服务。一文入门中台架构师!
|
NoSQL 分布式数据库 Redis
数据中台之OneID (ID-Mapping)架构设计细节全解
数据中台之OneID (ID-Mapping)架构设计细节全解
|
数据采集 机器学习/深度学习 运维
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法
1253 0
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法
|
存储 SQL 监控
Sentry 监控 - Snuba 数据中台架构(Data Model 简介)
Sentry 监控 - Snuba 数据中台架构(Data Model 简介)
254 0
Sentry 监控 - Snuba 数据中台架构(Data Model 简介)
2022年6月9日发表的《阿里云数据中台架构实践》演讲
2022年6月9日,我在信通院组织的“聚焦数据中台|下一代数据架构沙龙中”中发表了一次《阿里云数据中台架构实践》演讲,这次演讲也包括了其他中台厂商的内容,感兴趣的可以上去看看。
304 0
2022年6月9日发表的《阿里云数据中台架构实践》演讲
|
数据采集
观看利用湖仓一体架构快速搭建企业数据中台有感
3月3日,观看了直播课。利用湖仓一体架构快速搭建企业数据中台
294 1
观看利用湖仓一体架构快速搭建企业数据中台有感
|
设计模式 前端开发 数据挖掘
数据中台到组装式架构
组装式架构可以使中台的发展飞跃到新的高度
455 0
|
SQL 缓存 监控
Sentry 监控 - Snuba 数据中台架构(编写和测试 Snuba 查询)
Sentry 监控 - Snuba 数据中台架构(编写和测试 Snuba 查询)
225 0
Sentry 监控 - Snuba 数据中台架构(编写和测试 Snuba 查询)
下一篇
DataWorks