用户画像
用户画像,即用户信息标签化,是大数据精细化运营和精准营销服务的基础。
在大数据的时代下,用户的一切行为是可追溯和分析的。
用户画像是通过分析用户的基础信息、特征偏好、社会属性等各维度的数据,刻画出用户的信息全貌,从中挖掘用户价值。
它可以帮助数据“起死回生”,提供个性化推荐、精准营销、个性化服务。
画像基础
1.1 标签类型
用户画像建模其实就是对用户“打标签”,一般分为三类:
● 统计类标签:最基础常见的标签,从用户注册数据、用户访问数据中统计得出。
● 规则类标签:基于用户行为及规则产生,通常由对业务更为熟悉的运营人员和数据人员共同协商确定。
● 机器学习挖掘类标签:通过机器学习挖掘产生,根据某些用户行为或熟悉进行预测判断。
例如,根据一个用户购买化妆品护肤品的次数权重更高,得出该用户的性别是女性。
1.2 数据结构
画像系统的基础设施包括Spark、Hive、HBase、Airflow、Redis、Elasticsearch。
下图是《用户画像》中的数据仓库架构。
1)数据仓库ETL加工流程是对每日的业务数据、日志数据、埋点数据等数据经过ETL过程,加工到对应的原始数据层(ODS)、数据仓库(DW)、数据集市层(DM)中。
(2)用户画像不是产生数据的源头,是经过ODS层、DW层、DM层中的数据与用户相关数据的二次建模加工得到的数据。
在ETL过程将用户标签写入Hive,根据不同数据对应不同数据库的应用场景,再将数据同步到MySQL、HBase、Elasticsearch等数据库中。
Hive:存储用户标签、用户人群及用户特征库的计算结果
MySQL:存储标签元数据,监控相关数据,导出到业务系统的数据
HBase:存储线上实时数据
Elasticsearch:支持海量数据的实时查询分析
(3)用户标签在Hive中加工完成后,部分标签通过Sqoop同步到MySQL数据库,提供用于BI报表展示的数据、多为透视分析数据、圈人服务数据;另一部分标签同步到HBase数据库用于产品的线上个性化推荐。
数据服务层开发
数据的主要目的是应用到业务系统和营销场景中,需要打通标签数据和业务系统,通过产品化的方式将标签数据应用到业务系统。
数据服务层开发就包括了离线服务层和在线服务层。
离线服务层:将ETL后的用户群数据推送到对应业务系统。
在线服务层:以RESTful API方式提供接口服务,可支持个性化推荐、营销推送(站内广告系统的个性化弹窗、App的消息push和轮播广告、短信等)、在线特征库等场景。
几个典型的应用场景包括:
1)短信营销:可以基于用户画像的自定义圈人服务,进行重点用户的广告/消息消息推送/短信/邮件营销。
2)邮件营销:可以基于不同用户群体,进行个性化有效的会员营销,同时在服务上也可以基于已经打通的用户数据,提供会员差异化的客服/物流/活动等服务。
3)风控系统:可以根据用户级别,作为风控系统规则引擎或模型的输入。
4)数据分析:可以分析不同群体的行为特征,提供分析和决策。
5)BI数据:可以监控核心用户群体的变化,为上层决策提供数据基础支持。
1.用户是否大V(绑定信息根据新浪微博)---是否极高影响力 34亿 3万
2.下沉市场(收货地址+客单价)
3.年龄(老年人)
参考:
https://zhuanlan.zhihu.com/p/147722916
https://houbb.github.io/2020/06/03/user-pic-01-basic