带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(5) https://developer.aliyun.com/article/1247862
增量计算
因为满足平行趋势假设,我们可以用双重差分法(DID)去计算干预带来的增量;需注意的是,计算实验组与对照组的差异时,我们通常需要取一段时间的均值,避免波动带来的影响。
最终得到的结论类似于:用户在购买商品后,能够给来访率带来1.5%(30天日均)的提升。
其他情况
在一些情况下,也会有其他结果的出现。
1.无显著增量
用户在干预之后来访率有一个短暂的提升,但随着时间的推移两组用户趋于一致。这种情况下我们通常认为干预并没有给用户来访带来显著的提升。为了识别出这种情况,我们也可以通过假设检验或计算差值中位数的方式进行验证。
2.不满足平行趋势假设
从下图可以看到,左侧区域实验组与对照组的趋势不一致(不平行),这代表我们前面完成的匹配质量较差,需要优化匹配模型。对于平行趋势的检验,除了图示法(肉眼看是否平行)我们也可以通过T检验的方式来验证。
带你读《2022技术人的百宝黑皮书》——倾向得分匹配(PSM)的原理以及应用(7) https://developer.aliyun.com/article/1247860?groupCode=taobaotech