带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(1)

简介: 带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(1)

作者:八卜

出品:大淘宝技术


该文章主要介绍倾向得分匹配(PSM, Propensity Score Matching)方法的原理以及实现。这是一种理论稍微复杂、但实现较为容易的分析方法,适合非算法同学的使用。可用于(基于观察数据的)AB实验、增量模型搭建等领域。


文章主要分为四部分:前置知识(因果推断)介绍、倾向得分计算与匹配与匹配质量检验、匹配示例与增量计算还有一些补充的小知识点。对因果推断有简单了解的同学可以跳过第一部分,直接从第二节开始阅读。


前置知识介绍


对因果推断概念有所了解或想直接学习PSM的同学可跳过这一节。


概念一:干预效果 Treatment Effect


干预效果(Treatment Effect):干预下的潜在结果减去未干预时的潜在结果(Rubin框架),即:


image.png


其中image.png 表示潜在结果,1和0代表是否受到干预。

举个例子:我们想知道我养狗给我提升了多少幸福度,理想情况下就是用我养狗时的幸福度减去我不养狗时的幸福度。


概念二:ATT Average Treatment Effect on the Treated


相较于个人的干预效果,我们更希望了解人群整体的干预效果,毕竟我们通常用策略干预的是一个人群。


应用PSM,我们通常希望计算得到被干预的用户的平均干预效果,即ATT(average treatment effect on the treated),即


image.png


其中变量image.png 代表是否收到干预。


可以看到image.png 代表被干预的用户假如不被干预的情况下的潜在结果,是一个无法观测的数值。倘若可以建立AB测试,我们可以利用对照组得到该结果,在无法进行AB测试的情况(例如 image.png是一个主动的行为)我们可以

通过PSM拟合一个虚拟的对照组进行计算。


计算ATT所需满足的假设


这里引入一个新的概念,倾向性得分(Propensity Score),即用户受到(参与)干预的概率image.png


1. 条件独立假设 CIA (Conditonal Independence Assumption)

给定一系列可观测的协变量图片,潜在结果和干预分配相互独立。


image.png


可认为所有影响到干预分配与潜在结果的变量都同时被观测到。此时图片可能是高维度的。

若上式成立,则干预分配与潜在结果基于图片同样条件独立[可证明],即:


image.png



带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(2) https://developer.aliyun.com/article/1247867?groupCode=taobaotech

相关文章
|
机器学习/深度学习 存储 算法
时序数据特征工程浅析
内容摘要特征工程是指将原始数据标记处理为价值密度更高,更容易解释目标问题的工程化过程,在面向大量原始采集的数据集统计分析,尤其是对于高通量持续采集、且价值密度较低的时序数据更是如此。时序数据特征工程则是指利用有效方法,将原始时序数据转化为带有含义分类标签的序列数据片段或特征数值,例如,我们可以将指定时间窗口序列数据标识为特定异常关联数据,并保留平均、最大、最小值作为该序列的特征值。这样我们就可以围
3829 0
时序数据特征工程浅析
|
机器学习/深度学习 图计算 图形学
同构图、异构图、属性图、非显式图
同构图(Homogeneous Graph)、异构图(Heterogeneous Graph)、属性图(Property Graph)和非显式图(Graph Constructed from Non-relational Data)。 (1)同构图:
3154 0
同构图、异构图、属性图、非显式图
|
机器学习/深度学习 搜索推荐 PyTorch
特征交互(Feature Interaction)
特征交互(Feature Interaction)
1032 2
|
存储 人工智能 网络安全
科技云报到:云服务的中场战事,从AI应用开始
从去年的大模型之战,到今年的AI应用之争,云服务正在迈入全新的发展阶段。AI这个杠杆将各家厂商的竞争策略更向前推进了一步。
235 0
|
机器学习/深度学习 人工智能 分布式计算
因果推断:效应估计的常用方法及工具变量讨论
日常工作中很多的策略/产品的效果是无法设计完美的随机实验的,要求我们从观察性数据中去(拟合随机试验)发现因果关系、测算因果效应。
2427 0
因果推断:效应估计的常用方法及工具变量讨论
|
JavaScript 前端开发 小程序
uni-app subNVue 原生子窗体开发指南
uni-app subNVue 原生子窗体开发指南
628 1
|
机器学习/深度学习 算法
带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(3)
带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(3)
434 0
|
存储 数据采集 机器学习/深度学习
Prophet模型的简介以及案例分析(下)
Prophet模型的简介以及案例分析(下)
|
移动开发 前端开发 JavaScript
【前端动画】实现动画的6种方式
【前端动画】实现动画的6种方式
1611 0