《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——三、AnalyticDB高效分析实时人群画像

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——三、AnalyticDB高效分析实时人群画像

1. 用户画像基本流程与方法

 

image.png

 

用户画像在互联网场景里是非常重要的环节,比如通过不同的终端访问了相同的页面,平台方如何识别是否是同一个人在浏览访问呢?

 

首先,需要进行归一化(数据中台里称作OneID),全渠道多端采集,可信归一沉淀。

然后构建标签体系预置标签库。

然后进入用户画像流程,包括人群圈选、人群洞察,通过预置人群包、自定义人群包,私域+公域标签、多维度洞察研究。

将洞察结果配合营销策略进行多通道触达,实时效果跟踪。

数据回流形成回环。

 

 

2. 实时人群画像解决方案与收益

 

image.png 

 

人群画像对实时化的要求越来越高,如图所示:

 

首先CRM的数据通过DTS/Dataworks等数据集成类产品同步到AnalyticDB中,将实时运行的数据如事件数据、行为数据投递到Kafka,然后再投递到ADB里。

而在ADB里会存在会员的基础信息,这些信息可以来自关系型数据库、CRM数据库、ERP数据库等;会员的行为数据可以是通过Kafka、日志服务投递进来;支付数据可以是来自关系型数据库。

这些数据在ADB中进行归一化操作、建立标签体系,基于这些进行用户的画像和人群的洞察,然后经过第三方工具进行触达。

 

1) 核心PaaS产品

 

AnalyticDB MySQL、MySQL、AnalyticDB Spark。

 

2) 人货场可视化标签,多维度人群筛选

 

基于AnalyticDB MySQL周期性定时打标。

基于AnalyticDB Spark流计算近实时打标。

手动人群圈选打标。

基于事件触发自动化打标。

 

3) 事件营销引擎

 

短延迟事件:等待时间小于1天。

长延迟事件:等待事件大于1天。

系统类事件: CRM、POS等系统产生事件浏览类事件:WEB埋点事件等。

APP类事件:第三方系统事件交互。

 

4) 一些数据

 

会员基础信息:1+亿

会员行为数据:1000+亿

会员消费数据:100+亿

10W+TPS事件

效率提升:5分钟->500ms;100X性能提升

 

3. 用户画像常见算法举例-RFM

 

R(Recency):最近一次消费时间

F(Frequency):消费频率

M(Monetary):消费金额

 

打分体系

 

R、F、M作min-max归一化

值=(值-min) /(max-min)

RFM总值=R值* (-100)+F值*100+M值*100+100

 

image.png

 

4. 实时人群用户画像-RFM

 

如下是一条人群圈选和人群洞察SQL语句,已脱敏。

 

人群圈选

 

WITH tbase
AS 
  (SELECT vipid,
    rval,
    fval,
    maval,
    max(rval)over()rval_max,
    min(rval)over()rval_min,
    max(fval)over()fval_max,
    min(fval)over()fval_min,
    max(mval)over()mval_max,
    min(mval)over()mval_min,
  FROM(
    SELECT vipid,
        max(col mum_012)rval,
        count(1) fval,
        sum(col_mum_005)mval
        FROM vip_behavior256 a 
        WHERE a.col_num_001> 995
        GROUP BY vipid) a)

 

人群洞察

SELECT vipid,
CASE 
WHEN rvol > rval_vg AND fval > fval_avg 
AND mval > mval_avg THEN '重要价值客户' 
WHEN rval < rval_avg AND fval>fval_avg 
AND mval > mval_avg THEN ‘重要换回客户' 
WHEN rval > rval_avg AND fval < fval_avg
AND mval > mval_avg THEN '重要深耕客户'
WHEN rval < rval_avg AND fval>fwal_avg 
AND mval > mval_avg THEN'重要留客户’ 
WHEN rval > rval_avg AND fval>fval_avg 
AND mval < mval_avg THEN ‘潜力客户’
WHEN rval < rvall avg AND fual< fval_avg 
AND mval <mval_avg THEN‘新客户'
WHEN rval < rval_avg AND fval > fval_avg
AND mval < mval_avg THEN ‘一般维持客户'
WHEN rval <rval_avg AND fval < fval_avg 
AND mval< mval_avg THEN '流失客户'
end rfm_desc
FROM(
SELECT vipid,
rval*-100 + fval*100 + mval* 100+100 total_val,
rwal,tvall,mval,
avg(rval)over()rval_avg,avg(fval)over()fval_avg,avg(mval)over() mval_avg
FROM(
SELECT vipid,
((rval- rval min)/(rval mix-rvall min))rval,
((Fvll- Twill min)/(fval max-fvill min)fval,
((mval mval min)/(mvall max-mwal minl)mval
FROM tbase) a) a
相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
20天前
|
机器学习/深度学习 安全 算法
十大主流联邦学习框架:技术特性、架构分析与对比研究
联邦学习(FL)是保障数据隐私的分布式模型训练关键技术。业界开发了多种开源和商业框架,如TensorFlow Federated、PySyft、NVFlare、FATE、Flower等,支持模型训练、数据安全、通信协议等功能。这些框架在灵活性、易用性、安全性和扩展性方面各有特色,适用于不同应用场景。选择合适的框架需综合考虑开源与商业、数据分区支持、安全性、易用性和技术生态集成等因素。联邦学习已在医疗、金融等领域广泛应用,选择适配具体需求的框架对实现最优模型性能至关重要。
285 79
十大主流联邦学习框架:技术特性、架构分析与对比研究
|
5天前
|
SQL 运维 BI
湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构
浙江霖梓早期基于 Apache Doris 进行整体架构与表结构的重构,并基于湖仓一体和查询加速展开深度探索与实践,打造了 Doris + Paimon 的实时/离线一体化湖仓架构,实现查询提速 30 倍、资源成本节省 67% 等显著成效。
湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构
|
7天前
|
存储 人工智能 并行计算
2025年阿里云弹性裸金属服务器架构解析与资源配置方案
🚀 核心特性与技术创新:提供100%物理机性能输出,支持NVIDIA A100/V100 GPU直通,无虚拟化层损耗。网络与存储优化,400万PPS吞吐量,ESSD云盘IOPS达100万,RDMA延迟<5μs。全球部署覆盖华北、华东、华南及海外节点,支持跨地域负载均衡。典型应用场景包括AI训练、科学计算等,支持分布式训练和并行计算框架。弹性裸金属服务器+OSS存储+高速网络综合部署,满足高性能计算需求。
|
21天前
|
XML Java 开发者
Spring底层架构核心概念解析
理解 Spring 框架的核心概念对于开发和维护 Spring 应用程序至关重要。IOC 和 AOP 是其两个关键特性,通过依赖注入和面向切面编程实现了高效的模块化和松耦合设计。Spring 容器管理着 Beans 的生命周期和配置,而核心模块为各种应用场景提供了丰富的功能支持。通过全面掌握这些核心概念,开发者可以更加高效地利用 Spring 框架开发企业级应用。
74 18
|
2月前
|
运维 监控 持续交付
微服务架构解析:跨越传统架构的技术革命
微服务架构(Microservices Architecture)是一种软件架构风格,它将一个大型的单体应用拆分为多个小而独立的服务,每个服务都可以独立开发、部署和扩展。
560 36
微服务架构解析:跨越传统架构的技术革命
|
1月前
|
测试技术 双11 开发者
一文分析架构思维之建模思维
软件里的要素不是凭空出现的,都是源于实际的业务。本文从软件设计本源到建模案例系统的介绍了作者对于建模的思维和思考。
|
10天前
|
传感器 监控 安全
智慧工地云平台的技术架构解析:微服务+Spring Cloud如何支撑海量数据?
慧工地解决方案依托AI、物联网和BIM技术,实现对施工现场的全方位、立体化管理。通过规范施工、减少安全隐患、节省人力、降低运营成本,提升工地管理的安全性、效率和精益度。该方案适用于大型建筑、基础设施、房地产开发等场景,具备微服务架构、大数据与AI分析、物联网设备联网、多端协同等创新点,推动建筑行业向数字化、智能化转型。未来将融合5G、区块链等技术,助力智慧城市建设。
|
2月前
|
机器学习/深度学习 存储 人工智能
基于AI的实时监控系统:技术架构与挑战分析
AI视频监控系统利用计算机视觉和深度学习技术,实现实时分析与智能识别,显著提升高风险场所如监狱的安全性。系统架构包括数据采集、预处理、行为分析、实时决策及数据存储层,涵盖高分辨率视频传输、图像增强、目标检测、异常行为识别等关键技术。面对算法优化、实时性和系统集成等挑战,通过数据增强、边缘计算和模块化设计等方法解决。未来,AI技术的进步将进一步提高监控系统的智能化水平和应对复杂安全挑战的能力。
|
2月前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
3月前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
83 3

热门文章

最新文章

推荐镜像

更多