带你读《2022技术人的百宝黑皮书》——倾向得分匹配（PSM）的原理以及应用(4) https://developer.aliyun.com/article/1243257?groupCode=taobaotech
匹配质量检验
鉴于我们基于倾向分做匹配，需要检测其他特征在实验组与对照组之间的分布是否相近。
理论依据：因为 
，在给定
的情况下， 
与 
应该相互独立。也就是说
倾向得分相同时， 的分布应该趋近一致。
可量化的指标——标准化偏差 Standardised Bias
通过标准化偏差我们可以衡量 
在实验组与对照组分布的差异大小，通常我们认为低于5%的偏差是可以接受的（当然越小越好）。
我们也可以在匹配前后分别计算该值，去看看通过匹配让Standardised Bias减少了多少。
对样本均值的假设检验——T检验
我们也可以通过双侧T检验去判断两组的变量均值 
是否有显著差异。缺点是匹配前后偏差的减少量无法很直观的感受到。进一步的，我们也可以基于倾向分先做一个分层，再进行T-Test。这样可以看到不同分值下匹配的质量。
联合显著性/伪
另一种思路是我们把特征 
当作自变量，是否干预当作因变量，计算判定系数 
在完成匹配后，两组间的协变量 
应该不存在系统性差异（即无法通过 
预测是否干预），从而 
应该很低。类似的，可以对所有变量做一个联合F-Test，匹配有效的话，匹配后会拒绝假设（即解释变量对被解释变量的共同影响不显著）。
除此之外，我们可以通过QQplot的可视化、计算匹配后两组方差的比值、计算匹配前后倾向分偏差减小量等方式衡量匹配质量。但总体来说还是推荐前两种方式——计算SB和T检验，兼具了可解释性和可量化性。假如匹配的质量达不到要求，那么我们就要回到上一步对匹配算法进行调整。
匹配结果+增量计算
示例数据均为虚拟构造数据，仅用于参考说明方法。
匹配结果示例
匹配之后，常见的趋势会如下图一所示：
1. 在干预之前，匹配后的实验组和对照组呈现几乎相同或平行的趋势（匹配质量较好的情况下）
2. 在干预后，两组用户在目标指标上会开始出现差异，可以认为是干预带来的影响
增量计算
因为满足平行趋势假设，我们可以用双重差分法（DID）去计算干预带来的增量；需注意的是，计算实验组与对照组的差异时，我们通常需要取一段时间的均值，避免波动带来的影响。
最终得到的结论类似于：用户在购买商品后，能够给来访率带来1.5%（30天日均）的提升。
带你读《2022技术人的百宝黑皮书》——倾向得分匹配（PSM）的原理以及应用(6) https://developer.aliyun.com/article/1243254?groupCode=taobaotech
