《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——三、AnalyticDB高效分析实时人群画像

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——三、AnalyticDB高效分析实时人群画像

1. 用户画像基本流程与方法

 

image.png

 

用户画像在互联网场景里是非常重要的环节,比如通过不同的终端访问了相同的页面,平台方如何识别是否是同一个人在浏览访问呢?

 

首先,需要进行归一化(数据中台里称作OneID),全渠道多端采集,可信归一沉淀。

然后构建标签体系预置标签库。

然后进入用户画像流程,包括人群圈选、人群洞察,通过预置人群包、自定义人群包,私域+公域标签、多维度洞察研究。

将洞察结果配合营销策略进行多通道触达,实时效果跟踪。

数据回流形成回环。

 

 

2. 实时人群画像解决方案与收益

 

image.png 

 

人群画像对实时化的要求越来越高,如图所示:

 

首先CRM的数据通过DTS/Dataworks等数据集成类产品同步到AnalyticDB中,将实时运行的数据如事件数据、行为数据投递到Kafka,然后再投递到ADB里。

而在ADB里会存在会员的基础信息,这些信息可以来自关系型数据库、CRM数据库、ERP数据库等;会员的行为数据可以是通过Kafka、日志服务投递进来;支付数据可以是来自关系型数据库。

这些数据在ADB中进行归一化操作、建立标签体系,基于这些进行用户的画像和人群的洞察,然后经过第三方工具进行触达。

 

1) 核心PaaS产品

 

AnalyticDB MySQL、MySQL、AnalyticDB Spark。

 

2) 人货场可视化标签,多维度人群筛选

 

基于AnalyticDB MySQL周期性定时打标。

基于AnalyticDB Spark流计算近实时打标。

手动人群圈选打标。

基于事件触发自动化打标。

 

3) 事件营销引擎

 

短延迟事件:等待时间小于1天。

长延迟事件:等待事件大于1天。

系统类事件: CRM、POS等系统产生事件浏览类事件:WEB埋点事件等。

APP类事件:第三方系统事件交互。

 

4) 一些数据

 

会员基础信息:1+亿

会员行为数据:1000+亿

会员消费数据:100+亿

10W+TPS事件

效率提升:5分钟->500ms;100X性能提升

 

3. 用户画像常见算法举例-RFM

 

R(Recency):最近一次消费时间

F(Frequency):消费频率

M(Monetary):消费金额

 

打分体系

 

R、F、M作min-max归一化

值=(值-min) /(max-min)

RFM总值=R值* (-100)+F值*100+M值*100+100

 

image.png

 

4. 实时人群用户画像-RFM

 

如下是一条人群圈选和人群洞察SQL语句,已脱敏。

 

人群圈选

 

WITH tbase
AS 
  (SELECT vipid,
    rval,
    fval,
    maval,
    max(rval)over()rval_max,
    min(rval)over()rval_min,
    max(fval)over()fval_max,
    min(fval)over()fval_min,
    max(mval)over()mval_max,
    min(mval)over()mval_min,
  FROM(
    SELECT vipid,
        max(col mum_012)rval,
        count(1) fval,
        sum(col_mum_005)mval
        FROM vip_behavior256 a 
        WHERE a.col_num_001> 995
        GROUP BY vipid) a)

 

人群洞察

SELECT vipid,
CASE 
WHEN rvol > rval_vg AND fval > fval_avg 
AND mval > mval_avg THEN '重要价值客户' 
WHEN rval < rval_avg AND fval>fval_avg 
AND mval > mval_avg THEN ‘重要换回客户' 
WHEN rval > rval_avg AND fval < fval_avg
AND mval > mval_avg THEN '重要深耕客户'
WHEN rval < rval_avg AND fval>fwal_avg 
AND mval > mval_avg THEN'重要留客户’ 
WHEN rval > rval_avg AND fval>fval_avg 
AND mval < mval_avg THEN ‘潜力客户’
WHEN rval < rvall avg AND fual< fval_avg 
AND mval <mval_avg THEN‘新客户'
WHEN rval < rval_avg AND fval > fval_avg
AND mval < mval_avg THEN ‘一般维持客户'
WHEN rval <rval_avg AND fval < fval_avg 
AND mval< mval_avg THEN '流失客户'
end rfm_desc
FROM(
SELECT vipid,
rval*-100 + fval*100 + mval* 100+100 total_val,
rwal,tvall,mval,
avg(rval)over()rval_avg,avg(fval)over()fval_avg,avg(mval)over() mval_avg
FROM(
SELECT vipid,
((rval- rval min)/(rval mix-rvall min))rval,
((Fvll- Twill min)/(fval max-fvill min)fval,
((mval mval min)/(mvall max-mwal minl)mval
FROM tbase) a) a
相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
7天前
|
资源调度 前端开发 JavaScript
第十章(应用场景篇) Single-SPA微前端架构深度解析与实践教程
第十章(应用场景篇) Single-SPA微前端架构深度解析与实践教程
|
3天前
|
机器学习/深度学习 存储 并行计算
深入解析xLSTM:LSTM架构的演进及PyTorch代码实现详解
xLSTM的新闻大家可能前几天都已经看过了,原作者提出更强的xLSTM,可以将LSTM扩展到数十亿参数规模,我们今天就来将其与原始的lstm进行一个详细的对比,然后再使用Pytorch实现一个简单的xLSTM。
22 2
|
3天前
|
存储 弹性计算 Kubernetes
【阿里云云原生专栏】深入解析阿里云Kubernetes服务ACK:企业级容器编排实战
【5月更文挑战第20天】阿里云ACK是高性能的Kubernetes服务,基于开源Kubernetes并融合VPC、SLB等云资源。它提供强大的集群管理、无缝兼容Kubernetes API、弹性伸缩、安全隔离及监控日志功能。用户可通过控制台或kubectl轻松创建和部署应用,如Nginx。此外,ACK支持自动扩缩容、服务发现、负载均衡和持久化存储。多重安全保障和集成监控使其成为企业云原生环境的理想选择。
138 3
|
4天前
|
数据采集 数据可视化 数据挖掘
利用 DataFrame 进行数据分析:实战案例解析
【5月更文挑战第19天】DataFrame是数据分析利器,本文通过一个销售数据案例展示其使用:读取数据创建DataFrame,计算产品总销量,分析月销售趋势,找出最畅销产品,并进行数据可视化。此外,还提及数据清洗和异常处理。DataFrame为数据处理、分组计算和可视化提供便利,助力高效数据分析。
22 3
|
6天前
|
iOS开发 Python
mac:python安装路径,带你全面解析Python框架体系架构view篇
mac:python安装路径,带你全面解析Python框架体系架构view篇
|
6天前
|
Android开发
Android高级开发面试题以及笞案整理,实战解析
Android高级开发面试题以及笞案整理,实战解析
|
7天前
|
Android开发
Flutter完整开发实战详解(六、 深入Widget原理),2024百度Android岗面试真题收录解析
Flutter完整开发实战详解(六、 深入Widget原理),2024百度Android岗面试真题收录解析
|
7天前
|
前端开发 JavaScript 算法
前端色彩艺术:深入解析与实战指南
前端色彩艺术:深入解析与实战指南
|
8天前
|
存储 前端开发 JavaScript
React Hooks实战:从useState到useContext深度解析
React Hooks 深度解析:useState用于函数组件的状态管理,通过初始化和更新状态实现渲染控制;useContext则提供跨组件数据传递。useState的状态更新是异步的,不支持浅比较,可结合useEffect处理副作用。useContext在多层组件间共享状态,但可能导致不必要的渲染。两者结合可创建复杂应用场景,如带主题切换的计数器。了解其工作原理和优化策略,能有效提升React应用性能。
22 0
|
8天前
|
SQL 数据采集 分布式计算
Hive 数仓及数仓设计方案
数仓整合企业数据,提供统一出口,用于数据治理。其特点包括面向主题集成和主要支持查询操作。数仓设计涉及需求分析(如咨询老板、运营人员和行业专家)、确定主题指标(如电商的转化率)、数据标准设定、规模与成本计算、技术选型(如Hadoop生态组件)以及数据采集和操作。设计流程涵盖从理解需求到实施SQL函数和存储过程的全过程。
26 3

推荐镜像

更多