《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——三、AnalyticDB高效分析实时人群画像

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——三、AnalyticDB高效分析实时人群画像

1. 用户画像基本流程与方法

 

image.png

 

用户画像在互联网场景里是非常重要的环节,比如通过不同的终端访问了相同的页面,平台方如何识别是否是同一个人在浏览访问呢?

 

首先,需要进行归一化(数据中台里称作OneID),全渠道多端采集,可信归一沉淀。

然后构建标签体系预置标签库。

然后进入用户画像流程,包括人群圈选、人群洞察,通过预置人群包、自定义人群包,私域+公域标签、多维度洞察研究。

将洞察结果配合营销策略进行多通道触达,实时效果跟踪。

数据回流形成回环。

 

 

2. 实时人群画像解决方案与收益

 

image.png 

 

人群画像对实时化的要求越来越高,如图所示:

 

首先CRM的数据通过DTS/Dataworks等数据集成类产品同步到AnalyticDB中,将实时运行的数据如事件数据、行为数据投递到Kafka,然后再投递到ADB里。

而在ADB里会存在会员的基础信息,这些信息可以来自关系型数据库、CRM数据库、ERP数据库等;会员的行为数据可以是通过Kafka、日志服务投递进来;支付数据可以是来自关系型数据库。

这些数据在ADB中进行归一化操作、建立标签体系,基于这些进行用户的画像和人群的洞察,然后经过第三方工具进行触达。

 

1) 核心PaaS产品

 

AnalyticDB MySQL、MySQL、AnalyticDB Spark。

 

2) 人货场可视化标签,多维度人群筛选

 

基于AnalyticDB MySQL周期性定时打标。

基于AnalyticDB Spark流计算近实时打标。

手动人群圈选打标。

基于事件触发自动化打标。

 

3) 事件营销引擎

 

短延迟事件:等待时间小于1天。

长延迟事件:等待事件大于1天。

系统类事件: CRM、POS等系统产生事件浏览类事件:WEB埋点事件等。

APP类事件:第三方系统事件交互。

 

4) 一些数据

 

会员基础信息:1+亿

会员行为数据:1000+亿

会员消费数据:100+亿

10W+TPS事件

效率提升:5分钟->500ms;100X性能提升

 

3. 用户画像常见算法举例-RFM

 

R(Recency):最近一次消费时间

F(Frequency):消费频率

M(Monetary):消费金额

 

打分体系

 

R、F、M作min-max归一化

值=(值-min) /(max-min)

RFM总值=R值* (-100)+F值*100+M值*100+100

 

image.png

 

4. 实时人群用户画像-RFM

 

如下是一条人群圈选和人群洞察SQL语句,已脱敏。

 

人群圈选

 

WITH tbase
AS 
  (SELECT vipid,
    rval,
    fval,
    maval,
    max(rval)over()rval_max,
    min(rval)over()rval_min,
    max(fval)over()fval_max,
    min(fval)over()fval_min,
    max(mval)over()mval_max,
    min(mval)over()mval_min,
  FROM(
    SELECT vipid,
        max(col mum_012)rval,
        count(1) fval,
        sum(col_mum_005)mval
        FROM vip_behavior256 a 
        WHERE a.col_num_001> 995
        GROUP BY vipid) a)

 

人群洞察

SELECT vipid,
CASE 
WHEN rvol > rval_vg AND fval > fval_avg 
AND mval > mval_avg THEN '重要价值客户' 
WHEN rval < rval_avg AND fval>fval_avg 
AND mval > mval_avg THEN ‘重要换回客户' 
WHEN rval > rval_avg AND fval < fval_avg
AND mval > mval_avg THEN '重要深耕客户'
WHEN rval < rval_avg AND fval>fwal_avg 
AND mval > mval_avg THEN'重要留客户’ 
WHEN rval > rval_avg AND fval>fval_avg 
AND mval < mval_avg THEN ‘潜力客户’
WHEN rval < rvall avg AND fual< fval_avg 
AND mval <mval_avg THEN‘新客户'
WHEN rval < rval_avg AND fval > fval_avg
AND mval < mval_avg THEN ‘一般维持客户'
WHEN rval <rval_avg AND fval < fval_avg 
AND mval< mval_avg THEN '流失客户'
end rfm_desc
FROM(
SELECT vipid,
rval*-100 + fval*100 + mval* 100+100 total_val,
rwal,tvall,mval,
avg(rval)over()rval_avg,avg(fval)over()fval_avg,avg(mval)over() mval_avg
FROM(
SELECT vipid,
((rval- rval min)/(rval mix-rvall min))rval,
((Fvll- Twill min)/(fval max-fvill min)fval,
((mval mval min)/(mvall max-mwal minl)mval
FROM tbase) a) a
相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
阿里云域名购买注册流程_创建信息模板_域名实名认证全流程
阿里云域名注册指南:访问[阿里云域名注册入口,查询并注册心仪域名,选择后缀,加入清单后结算。价格因后缀而异,如.com首年78元。创建域名信息模板完成实名认证,首次需上传资料。获取优惠口令并使用可享折扣
|
12天前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库产品使用合集之阿里云云原生数据仓库AnalyticDB PostgreSQL版的重分布时间主要取决的是什么
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
12天前
|
运维 Cloud Native 关系型数据库
云原生数据仓库产品使用合集之原生数据仓库AnalyticDB PostgreSQL版如果是列存表的话, adb支持通过根据某个字段做upsert吗
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
2天前
|
弹性计算 监控 数据库
【阿里云弹性计算】企业级应用上云实战:基于阿里云 ECS 的 ERP 系统迁移案例
【5月更文挑战第25天】制造企业将面临资源不足、维护成本高和数据安全问题的ERP系统迁移到阿里云ECS,实现业务上云。通过数据迁移、应用部署、网络配置和性能优化等步骤,企业享受到弹性计算资源、高可靠性和数据安全优势,降低维护成本。阿里云提供24小时支持,助力企业数字化转型。此案例展示企业级应用上云的可行性,鼓励更多企业借助云计算实现创新发展。
8 0
|
3天前
|
弹性计算 缓存 负载均衡
【阿里云弹性计算】游戏服务器部署实战:利用阿里云ECS打造低延迟游戏环境
【5月更文挑战第24天】使用阿里云ECS打造低延迟游戏环境的实战指南,包括选择高性能处理器和SSD存储的实例,规划架构,选择近玩家的地域和可用区,部署软件,优化性能及监控。通过负载均衡、自动扩展和数据缓存提升体验,同时关注数据安全与网络安全。
21 4
|
3天前
|
运维 Cloud Native 持续交付
【阿里云云原生专栏】从零到一搭建云原生应用:阿里云云原生应用平台实战教程
【5月更文挑战第24天】本文档是一份阿里云云原生应用平台的实战教程,介绍了如何从零开始搭建云原生应用。内容涵盖云原生应用的特点(容器化、微服务、CI/CD和自动化运维)以及阿里云提供的服务,如容器服务、服务网格和CI/CD工具。教程详细讲解了创建容器集群、编写Dockerfile、构建镜像、部署应用、配置服务网格和设置CI/CD的步骤。通过本文,读者将学会利用阿里云平台开发和管理云原生应用。
225 0
|
4天前
|
SQL 关系型数据库 数据库
阿里云数据库 RDS SQL Server版实战【性能优化实践、优点探析】
本文探讨了Amazon RDS SQL Server版在云数据库中的优势,包括高可用性、可扩展性、管理便捷、安全性和成本效益。通过多可用区部署和自动备份,RDS确保数据安全和持久性,并支持自动扩展以适应流量波动。可视化管理界面简化了监控和操作,而数据加密和访问控制等功能保障了安全性。此外,弹性计费模式降低了运维成本。实战应用显示,RDS SQL Server版能有效助力企业在促销高峰期稳定系统并保障数据安全。阿里云的RDS SQL Server版还提供了弹性伸缩、自动备份恢复、安全性和高可用性功能,进一步优化性能和成本控制,并与AWS生态系统无缝集成,支持多种开发语言和框架。
26 2
|
5天前
|
弹性计算 监控 负载均衡
【阿里云弹性计算】ECS实例迁移实战:无缝迁移到阿里云的步骤与技巧
【5月更文挑战第22天】阿里云ECS实例迁移实战详解,涵盖无缝迁移步骤与技巧:选择合适迁移方案,如VPC或使用阿里云工具;创建目标环境,数据迁移及配置同步;测试验证功能正常,流量切换;选择低峰期,保证数据一致,实时监控,提升迁移成功率。本文为云平台迁移提供实用指南。
40 2
|
6天前
|
存储 弹性计算 监控
【阿里云弹性计算】成本优化实战:利用阿里云 ECS 抢占式实例节省云支出
【5月更文挑战第21天】阿里云ECS的抢占式实例提供了一种成本优化策略,适合对中断容忍度较高的业务。通过创建和管理抢占式实例,结合API查询价格信息,企业能节省大量成本。使用时注意业务容错性,设置监控系统应对中断,结合其他成本优化措施,如存储类型选择和网络配置优化。确保业务可恢复性,关注阿里云政策,并根据业务变化调整策略,以实现成本与效益的最佳平衡。
53 3
|
7天前
|
弹性计算 监控 开发工具
【阿里云弹性计算】实战教程:如何高效利用阿里云ECS弹性伸缩应对业务高峰
【5月更文挑战第20天】本文介绍了如何使用阿里云ECS弹性伸缩服务应对业务高峰。通过自动调整云资源规模,弹性伸缩在流量增加时扩展实例,流量减少时收缩实例,实现成本与性能的优化。步骤包括开通服务、创建伸缩组、设定规则和监控指标。文中还提供了一个Python脚本示例,并强调了优化策略,如应用无状态设计、考虑冷却时间和结合云监控。通过实践和调整,企业可以有效应对业务波动。
55 5