带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(1)

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(1)

作者:八卜

出品:大淘宝技术


该文章主要介绍倾向得分匹配(PSM, Propensity Score Matching)方法的原理以及实现。这是一种理论稍微复杂、但实现较为容易的分析方法,适合非算法同学的使用。可用于(基于观察数据的)AB实验、增量模型搭建等领域。


文章主要分为四部分:前置知识(因果推断)介绍、倾向得分计算与匹配与匹配质量检验、匹配示例与增量计算还有一些补充的小知识点。对因果推断有简单了解的同学可以跳过第一部分,直接从第二节开始阅读。


前置知识介绍


对因果推断概念有所了解或想直接学习PSM的同学可跳过这一节。


概念一:干预效果 Treatment Effect


干预效果(Treatment Effect):干预下的潜在结果减去未干预时的潜在结果(Rubin框架),即:


image.png


其中 image.png表示潜在结果,1和0代表是否受到干预。


举个例子:我们想知道我养狗给我提升了多少幸福度,理想情况下就是用我养狗时的幸福度减去我不养狗时的幸福度。


概念二:ATT Average Treatment Effect on the Treated


相较于个人的干预效果,我们更希望了解人群整体的干预效果,毕竟我们通常用策略干预的是一个人群。


应用PSM,我们通常希望计算得到被干预的用户的平均干预效果,即ATT(average treatment effect on the treated),即


image.png


其中变量image.png 代表是否收到干预。


可以看到 image.png代表被干预的用户假如不被干预的情况下的潜在结果,是一个无法观测的数值。倘若可以建立AB测试,我们可以利用对照组得到该结果,在无法进行AB测试的情况(例如image.png 是一个主动的行为)我们可以

通过PSM拟合一个虚拟的对照组进行计算。




带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(2) https://developer.aliyun.com/article/1243259?groupCode=taobaotech

相关文章
|
10月前
|
机器学习/深度学习 存储 自然语言处理
语义检索翻车?可能是你的Embedding模型没选对!
本文深入解析Embedding模型在RAG系统中的核心作用,涵盖其原理、类型、选型策略及实战建议。选对模型可显著提升语义检索准确性与效率,避免成本浪费。干货满满,值得收藏!
3485 52
|
10月前
|
人工智能 程序员 开发者
2025年程序员如何挣钱?卓伊凡的七条职业发展路径分析-优雅草卓伊凡
2025年程序员如何挣钱?卓伊凡的七条职业发展路径分析-优雅草卓伊凡
564 6
|
存储 人工智能 数据可视化
Pandas中的Melt:Pivot的逆操作
Pandas中的Melt:Pivot的逆操作
820 0
|
机器学习/深度学习 人工智能 自然语言处理
大模型的多样性:从语言处理到多模态智能
本文介绍了大模型在多个领域的应用,包括自然语言处理(如Transformer、GPT、BERT、T5)、计算机视觉(如CNN、ViT、GAN)、多模态智能(如CLIP、DALL-E)、语音识别与合成(如Wav2Vec、Tacotron)以及强化学习(如AlphaGo、PPO)。这些模型展现了卓越的性能,推动了人工智能技术的发展。
612 1
|
存储 机器学习/深度学习 缓存
【数据挖掘】XGBoost面试题:与GBDT的区别?为什么使用泰勒二阶展开?为什么可以并行训练?为什么快?防止过拟合的方法?如何处理缺失值?
XGBoost与GBDT的区别、XGBoost使用泰勒二阶展开的原因、并行训练的原理、速度优势、防止过拟合的策略以及处理缺失值的方法,突出了XGBoost在提升模型性能和训练效率方面的一系列优化。
1395 1
|
机器学习/深度学习 SQL 算法
倾向得分匹配(PSM)的原理以及应用
倾向得分匹配(PSM)的原理以及应用
6386 0
倾向得分匹配(PSM)的原理以及应用
|
机器学习/深度学习 人工智能 算法
因果发现方法概述
直到今天,发现因果关系仍然不是一件简单的事情,要么需要进行精心控制的实验,要么依赖人类的原始直觉。随着技术的不断进步,人工智能可以帮助我们发现因果关系。因果AI能够结合人类直觉和经验,通过观测数据自主发现因果关系。
1297 0
因果发现方法概述
|
数据挖掘
R实战 | 限制性立方样条(RCS)
R实战 | 限制性立方样条(RCS)
3801 0
带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(2)
带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(2)
529 0
|
机器学习/深度学习 算法
带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(3)
带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(3)
326 0