假设检验多重比较的P值修正

1、关于多重比较的P值修正

当对于一组数据进行多重均值比较的时候，例如两两比较(A,B,C)三组数据，将执行3次比较(A-B,A-C,B-C)，假设每次比较时犯错的概率假设控制在5%，每次比较的可信度即为95%。但是对于三个同时进行的 test 来说，由于其中每个test的检验犯错是概率5%，那么总体上三个test均正确反映事实的可信度将低于95%(0.953 = 0.85)，也即是犯 I类错误** (错误识别为出现显著差异) 的概率从5%提高到了15%。所以在进行多重检验时需要进行P值的修正来控制错误率， 主要有两种控制方案：

方案一 ：控制FWER(family-wise error rate)

该类修正方法严格 要求多重比较的每个 test 全部正确，FWER的常见修正方法包括 Bonferroni ,Holm,Scheffe,Tukey。使用校正后的P值的显著性判断水平还是α = 0.05 。

Bonferroni校正，该方法它将显著性水平 α 除以总比较次数n 来生成更低的 α阈值 作为显著性判断水平($\alpha' = \frac {\alpha}{n}= \frac {\alpha}{C_{num\_groups}^2}$)。该方法对于组数比较敏感，适用于比较组数较少的情况(3组，4组，6组)，当比较组数过多时(>8组)可能发生因为 α 过小而失效的问题，即使两组间存在差异也无法正确识别，从而放大了 II类错误。

如果是对一组数据任意两两组都进行检验，检验功效比较好的是 Tukey 方法,这也是一种相对严格的一种方法，比较不容易得显著的结果。

方案二 ：控制FDR(false discovery rate)：：控制错误率

该类修正方法要求 在判断显著的这些比较结果里面一定比例的检验结果是可靠的 ，也就是不严格要求所有结果均正确，允许犯错。适用于比较组数较大的情况，如单细胞研究里基因间的两两比较，这种情况下如果使用FWER校正方法可能会出现所有结果都不显著，从而导致比较失去意义。

最常用方法是: Benjamini & Hochberg(BH)

Reference

【统计学博士教你用R语言做统计分析！】方差分析(ANOVA)_哔哩哔哩_bilibili
BH方法过程