《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——三、AnalyticDB高效分析实时人群画像

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,8核32GB 100GB 1个月
云解析DNS,个人版 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——三、AnalyticDB高效分析实时人群画像

1. 用户画像基本流程与方法

 

image.png

 

用户画像在互联网场景里是非常重要的环节,比如通过不同的终端访问了相同的页面,平台方如何识别是否是同一个人在浏览访问呢?

 

首先,需要进行归一化(数据中台里称作OneID),全渠道多端采集,可信归一沉淀。

然后构建标签体系预置标签库。

然后进入用户画像流程,包括人群圈选、人群洞察,通过预置人群包、自定义人群包,私域+公域标签、多维度洞察研究。

将洞察结果配合营销策略进行多通道触达,实时效果跟踪。

数据回流形成回环。

 

 

2. 实时人群画像解决方案与收益

 

image.png 

 

人群画像对实时化的要求越来越高,如图所示:

 

首先CRM的数据通过DTS/Dataworks等数据集成类产品同步到AnalyticDB中,将实时运行的数据如事件数据、行为数据投递到Kafka,然后再投递到ADB里。

而在ADB里会存在会员的基础信息,这些信息可以来自关系型数据库、CRM数据库、ERP数据库等;会员的行为数据可以是通过Kafka、日志服务投递进来;支付数据可以是来自关系型数据库。

这些数据在ADB中进行归一化操作、建立标签体系,基于这些进行用户的画像和人群的洞察,然后经过第三方工具进行触达。

 

1) 核心PaaS产品

 

AnalyticDB MySQL、MySQL、AnalyticDB Spark。

 

2) 人货场可视化标签,多维度人群筛选

 

基于AnalyticDB MySQL周期性定时打标。

基于AnalyticDB Spark流计算近实时打标。

手动人群圈选打标。

基于事件触发自动化打标。

 

3) 事件营销引擎

 

短延迟事件:等待时间小于1天。

长延迟事件:等待事件大于1天。

系统类事件: CRM、POS等系统产生事件浏览类事件:WEB埋点事件等。

APP类事件:第三方系统事件交互。

 

4) 一些数据

 

会员基础信息:1+亿

会员行为数据:1000+亿

会员消费数据:100+亿

10W+TPS事件

效率提升:5分钟->500ms;100X性能提升

 

3. 用户画像常见算法举例-RFM

 

R(Recency):最近一次消费时间

F(Frequency):消费频率

M(Monetary):消费金额

 

打分体系

 

R、F、M作min-max归一化

值=(值-min) /(max-min)

RFM总值=R值* (-100)+F值*100+M值*100+100

 

image.png

 

4. 实时人群用户画像-RFM

 

如下是一条人群圈选和人群洞察SQL语句,已脱敏。

 

人群圈选

 

WITH tbase
AS 
  (SELECT vipid,
    rval,
    fval,
    maval,
    max(rval)over()rval_max,
    min(rval)over()rval_min,
    max(fval)over()fval_max,
    min(fval)over()fval_min,
    max(mval)over()mval_max,
    min(mval)over()mval_min,
  FROM(
    SELECT vipid,
        max(col mum_012)rval,
        count(1) fval,
        sum(col_mum_005)mval
        FROM vip_behavior256 a 
        WHERE a.col_num_001> 995
        GROUP BY vipid) a)

 

人群洞察

SELECT vipid,
CASE 
WHEN rvol > rval_vg AND fval > fval_avg 
AND mval > mval_avg THEN '重要价值客户' 
WHEN rval < rval_avg AND fval>fval_avg 
AND mval > mval_avg THEN ‘重要换回客户' 
WHEN rval > rval_avg AND fval < fval_avg
AND mval > mval_avg THEN '重要深耕客户'
WHEN rval < rval_avg AND fval>fwal_avg 
AND mval > mval_avg THEN'重要留客户’ 
WHEN rval > rval_avg AND fval>fval_avg 
AND mval < mval_avg THEN ‘潜力客户’
WHEN rval < rvall avg AND fual< fval_avg 
AND mval <mval_avg THEN‘新客户'
WHEN rval < rval_avg AND fval > fval_avg
AND mval < mval_avg THEN ‘一般维持客户'
WHEN rval <rval_avg AND fval < fval_avg 
AND mval< mval_avg THEN '流失客户'
end rfm_desc
FROM(
SELECT vipid,
rval*-100 + fval*100 + mval* 100+100 total_val,
rwal,tvall,mval,
avg(rval)over()rval_avg,avg(fval)over()fval_avg,avg(mval)over() mval_avg
FROM(
SELECT vipid,
((rval- rval min)/(rval mix-rvall min))rval,
((Fvll- Twill min)/(fval max-fvill min)fval,
((mval mval min)/(mvall max-mwal minl)mval
FROM tbase) a) a
相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
19天前
|
算法 Python
算法不再难!Python分治法、贪心、动态规划实战解析,轻松应对各种算法挑战!
【7月更文挑战第8天】掌握Python算法三剑客:分治、贪心、动态规划。分治如归并排序,将大问题拆解递归解决;贪心策略在每步选最优解,如高效找零;动态规划利用子问题解,避免重复计算,解决最长公共子序列问题。实例展示,助你轻松驾驭算法!**
30 3
|
1月前
|
存储 数据采集 数据挖掘
“湖仓一体架构及其应用”写作框架,系统架构设计师
随着5G、大数据、人工智能、物联网等技术的不断成熟,各行各业的业务场景日益复杂,企业数据呈现出大规模、多样性的特点,特别是非结构化数据呈现出爆发式增长趋势。在这一背景下,企业数据管理不再局限于传统的结构化OLTP(On-Line Transaction Processing)数据交易过程,而是提出了多样化、异质性数据的实时处理要求。传统的数据湖(Data Lake)在事务一致性及实时处理方面有所欠缺,而数据仓库(Data Warehouse)也无法应对高并发、多数据类型的处理。因此,支持事务一致性、提供高并发实时处理及分析能力的湖仓一体(Lake House)架构应运而生。湖仓一体架构在成本、
|
22天前
|
存储 数据管理 数据库
CRUD操作实战:从理论到代码实现的全面解析
【7月更文挑战第4天】在软件开发领域,CRUD代表了数据管理的四个基本操作:创建(Create)、读取(Read)、更新(Update)和删除(Delete)。这四个操作构成了大多数应用程序数据交互的核心。本文将深入讲解CRUD概念,并通过一个简单的代码示例,展示如何在实际项目中实现这些操作。我们将使用Python语言结合SQLite数据库来演示,因为它们的轻量级特性和易用性非常适合教学目的。
39 2
|
29天前
|
Java 开发者 Spring
深入解析 @Transactional:Spring 事务管理的艺术及实战应对策略
深入解析 @Transactional:Spring 事务管理的艺术及实战应对策略
24 2
|
29天前
|
存储 SQL BI
深入解析实时数仓Doris:介绍、架构剖析、应用场景与数据划分细节
深入解析实时数仓Doris:介绍、架构剖析、应用场景与数据划分细节
|
28天前
|
SQL 存储 运维
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
|
1月前
|
存储 缓存 监控
深入JVM:解析OOM的三大场景,原因及实战解决方案
深入JVM:解析OOM的三大场景,原因及实战解决方案
|
1月前
|
存储 数据采集 分布式计算
Java中的大数据处理与分析架构
Java中的大数据处理与分析架构
|
1月前
|
NoSQL Linux 程序员
Linux objdump命令:深入解析与实战应用
`objdump`是Linux下的反汇编工具,用于将二进制文件转换为汇编代码,便于理解程序底层。它可以反汇编目标文件、可执行文件和库,支持多种参数,如显示符号表(-t)、反汇编代码(-d)、源代码与汇编混合视图(-S)。在实践中,结合-g编译选项和特定段(-j)反汇编,能辅助调试和分析。使用时注意包含调试信息,选择适当参数,并与其他工具(如gdb)配合使用。
|
15天前
|
前端开发 Linux Shell
技术心得:基于AR9331(MIPS架构)分析系统启动过程(uboot)
技术心得:基于AR9331(MIPS架构)分析系统启动过程(uboot)

热门文章

最新文章

推荐镜像

更多